En ny undersøgelse fra arXiv viser, at LLM-baserede evalueringssystemer – såkaldte LLM-dommere – er partiske over for deres egne output, selv når stilistiske forskelle fjernes. Forskerne bag studiet ændrede evalueringsobjektet fra genereret tekst til narrative valg, som ikke bærer modelspecifikke stilistiske fingeraftryk, men stadig kan genkendes. Under blind evaluering forsvandt selvpræference stort set, når kvalitet og evaluatorstrenghed blev kontrolleret. Men når deltagerne fik at vide, at et valg var deres eget – uden at nævne nogen model – inflaterede dommerne scoren for selv-mærkede valg og deflaterede den for andre-mærkede valg, uanset den faktiske kilde. Dette viser, at forfatterskabsattribuering i sig selv er en distinkt driver for evalueringsbias, og at åbne, ground-truth-frie opgaver kan bruges som kontrollerede instrumenter til at studere LLM-dommeradfærd. For beslutningstagere, der bruger LLM-dommere til kvalitetsvurdering af AI-output, er implikationen klar: Bias kan ikke elimineres blot ved at fjerne stilistiske spor – labels alene kan skævvride resultaterne. Dette bør indgå i designet af evalueringsprocesser, især hvor dommere bruges til at sammenligne egne modeller med konkurrenters.