Adaptive data-cleaning-metoder, der automatisk fjerner korrupte data frem for manuelle filtre, kan give misvisende resultater i evalueringer. Ny forskning fra arXiv introducerer en ramme, der afslører et skjult problem kaldet 'removal-budget confounding', hvor forbedringer i metrics som præcision reelt skyldes, at metoden fjerner flere eller færre samples – ikke at den er bedre til at identificere korruption.
Forskerne bag papiret viser, at når man sammenligner metoder ved at matche deres driftsbetingelser – altså hvor mange samples der fjernes – forsvinder mange af de gevinster, som naive evalueringer ellers viser. Det betyder, at virksomheder, der implementerer adaptive cleaning-løsninger, risikerer at vælge en løsning baseret på fejlagtige præstationsmålinger.
For beslutningstagere, der overvejer at investere i eller bygge på adaptive data-cleaning, er implikationen klar: Man bør kræve, at leverandører dokumenterer resultater ved matchede driftsbetingelser, ikke kun ved standardiserede benchmarks. Ellers kan man ende med en løsning, der ser godt ud i test, men ikke leverer i praksis.
Forskerne testede deres ramme på CIFAR-10 og ImageNet-100 og fandt, at de fleste forskelle i naive evalueringer skrumpede eller forsvandt ved lav til moderat korruption, når driftsbetingelser blev matchet. Kun i specifikke tilfælde – lav prævalens og høj recall under svær korruption – forblev reelle fordele.
