En ny undersøgelse fra arXiv viser, at kunstig intelligens, der bruges til at vurdere kvaliteten af andet AI-genereret arbejde, bliver mindre pålidelig, jo flere vurderinger den skal lave i ét kald. Forskningen, som er beskrevet i artiklen på arXiv, finder, at når en AI-dommer skal returnere mange domme på én gang, bliver nogle af beslutningerne svagt forankret i beviserne – selv når den får samme mængde beregningskraft eller værktøjer som et panel af separate kald.
Løsningen, som forskerne kalder "sharding", går ud på at opdele kravene i mindre grupper, tildele hver gruppe til et separat kald og derefter samle resultaterne. Mod en enkelt kald med hele panelets budget forbedrer sharding overensstemmelsen med eksperter, mens model, beviser og budget holdes fast. Faktisk kan en svagere AI-dommer med sharding overgå en mere kapabel helhedsdommer – og matche den, selv når den mere kapable dommer får hele panelets budget.
Resultaterne har klar strategisk betydning for virksomheder og organisationer, der bruger AI til kvalitetskontrol, juridisk gennemgang eller kliniske vurderinger. Hvis en AI-model skal vurdere mange krav eller kriterier på én gang, kan den overse fejl – og det kan udnyttes af ondsindede aktører. Forskningen viser, at en "best-of-N"-modstander kan holde det underliggende arbejde fast, variere kun præsentationen og øge en overbelastet dommers accept af reelt ikke-opfyldte kriterier flere gange. Sharding fjerner denne fordel, så overaccept holdes lav, selv når modstanderens søgning udvides.
Sharding løser dog ikke alle problemer. Det adresserer ikke angreb, der overtaler dommeren separat på hvert enkelt kriterium i stedet for at udnytte overbelastning. I den situation finder forskerne, at debat-stil opposition oven på sharding kan modstå sådan adaptiv re-optimering.
For beslutningstagere, der overvejer at implementere AI-baseret tilsyn, er implikationen klar: At give en AI mere beregningskraft er ikke nok til at sikre pålidelighed. At opdele vurderingerne i mindre, håndterbare bidder kan være en mere effektiv og robust strategi – og det kan endda gøre svagere modeller til et bedre valg end stærkere, men overbelastede, alternativer.
