Aktiv læring er ikke altid robust over for støjede labels – resultater varierer

Aktiv læring kan reducere omkostningerne ved at annotere data, men en ny undersøgelse fra arXiv viser, at metoden ikke altid er robust over for støjede labels. Forskningen tester, om usikkerhedsbaseret prøveudtagning fejler, fordi den samler flere korrupte labels, eller fordi fejl koncentreret i svære områder er særligt skadelige. Resultaterne er blandede og afhænger af datasæt, budget og støjstruktur.

Undersøgelsen sammenligner margin-baseret usikkerhedsprøveudtagning med tilfældig prøveudtagning under rene labels, tilfældig klassifikationsstøj (RCN) og afgrænset vanskelighedsafhængig støj på tre offentlige binære tabeldatasæt. Designet bruger 100 parrede frø, ni forventede støjfrekvenser fra 0 til 0,30, annotationsbudgetter fra 20 til 120 og logistisk regression med regulering genvalgt via krydsvalidering ved hvert budget. En eksponeringsmatchet RCN-kontrol justerer for gennemsnitlig endelig korruption, mens en ren-label-udvidelse når budget 400.

Under rene labels forbedrede usikkerhedsprøveudtagning normaliseret balanceret nøjagtighedsareal under læringskurven med 1,09 til 1,77 procentpoint på alle datasæt. Vanskelighedsafhængig støj reducerede denne fordel mere end RCN ved seks af otte frekvenser på Breast Cancer Wisconsin, men ikke på Banknote Authentication eller MAGIC Gamma Telescope. Eksponeringsmatchede analyser fandt ingen korrigeret evidens for en universel ekstra straf fra struktureret fejlplacering. På rene MAGIC-data forbedrede usikkerhedsprøveudtagning balanceret nøjagtighed, men reducerede gennemsnitlig præcision og sand-positiv rate ved faste falsk-positiv-rater.

For beslutningstagere, der overvejer aktiv læring til at reducere annoteringsomkostninger, er implikationen klar: metoden kan være label-effektiv, men dens tilsyneladende robusthed afhænger af datasæt, budget, støjstruktur og evalueringsmetrik. Det betyder, at man ikke kan antage, at usikkerhedsprøveudtagning altid er bedre end tilfældig prøveudtagning, især når labels er støjede. Det anbefales at teste på ens egne data og overveje støjens karakter.