En ny metode fra arXiv kan gøre det væsentligt billigere og mere pålideligt at vurdere, hvornår en AI-model er usikker på sit svar. Forskere bag papiret viser, at man ved at udnytte et lille datasæt kan forbedre eksisterende usikkerhedsscorer markant – uden at det koster ekstra regnekraft i drift.
Metoden bygger simple klassifikatorer, der forudsiger, om et modelsvar er korrekt, ved at kombinere eksisterende usikkerhedsscorer med korrektheden af lignende forespørgsler. Det giver minimalt beregningsmæssigt overhead og gør den til en billig og ligetil opgradering af usikkerhedsvurdering i praksis.
For beslutningstagere betyder det, at man kan få mere pålidelige AI-systemer uden at investere i dyrere infrastruktur eller komplekse modeller. Metoden kræver kun et lille evalueringsdatasæt, hvilket de fleste organisationer allerede har eller nemt kan etablere.
