Når virksomheder bruger AI-modeller til at evaluere kvaliteten af genereret tekst – for eksempel i kundesupport eller indholdsproduktion – sker det ofte med en LLM-as-a-judge-tilgang. Problemet er, at disse dommere ikke altid vurderer hver kvalitetsdimension uafhængigt, hvilket kan skævvride resultaterne. Nu har forskere bag et nyt arXiv-paper præsenteret to værktøjer, der både måler og afhjælper dette problem.
Forskerne introducerer CorrGap, en metode til at kvantificere, hvor meget en LLM-dommer læner sig op ad ikke-relevante dimensioner, når den vurderer en bestemt dimension. Ved at sammenligne korrelationer mellem forudsagte og faktiske scores på tværs af tekstgrupper viser de, at denne inter-dimensionelle afhængighed er udbredt hos alle testede LLM-dommere.
For at imødegå problemet foreslår de DimCheck, en metode der trinvis fjerner irrelevant information fra dommernes 'chain-of-thought' – altså de interne ræsonnementer, der ligger bag vurderingen. Resultaterne viser, at DimCheck reducerer afhængigheden og overgår stærke baseline-metoder på tværs af tre LLM'er og fire opgaver. Bemærkelsesværdigt er det også, at mindre, specialtrænede modeller kan opnå samme effekt som større modeller, men med markant lavere inferensomkostninger.
For beslutningstagere betyder det, at pålideligheden af automatiske kvalitetsvurderinger kan forbedres uden at skulle opgradere til de dyreste modeller. Det kan have direkte konsekvenser for valg af evalueringsløsninger i produktionsmiljøer, hvor omkostninger og præcision begge vejer tungt.
