En ny forskningsartikel fra arXiv introducerer en algoritme, der samtidig kan lære både kvaliteten af sammenligninger (item rewards) og pålideligheden af de mennesker, der laver dem. Det er relevant for alle, der bruger crowdworkers til at forbedre AI-modeller, fordi upålidelige eller spam-agtige arbejdere kan forvrænge resultaterne.
Forskerne bag artiklen, tilgængelig på arXiv, tager udgangspunkt i Boltzmann-rational-modellen, som udvider den velkendte Bradley-Terry-Luce-model med arbejderkompetencer. De udleder en EM-baseret algoritme, der ved hjælp af Polya-Gamma-latente variable gør det muligt at optimere modellen effektivt. Dette reducerer problemet til et matrix-sensing-problem, hvilket giver teoretiske konvergensgarantier.
Eksperimenter på både syntetiske og virkelige datasæt viser, at algoritmen er robust over for både spammere og modarbejdende arbejdere. Det betyder, at virksomheder, der bruger platforme som Amazon Mechanical Turk eller Scale AI til at generere sammenligningsdata til fine-tuning af sprogmodeller, kan få mere pålidelige resultater – selv når en del af arbejdsstyrken ikke er kompetent eller bevidst forsøger at snyde systemet.
For beslutningstagere er implikationen klar: Hvis man investerer i menneskelig feedback for at forbedre sine modeller, kan denne metode reducere spild og øge kvaliteten af den træning, man får for pengene. Koden og data er offentligt tilgængelige på GitHub, hvilket gør det muligt for teams at teste og implementere metoden direkte.
