Sprogmodeller bliver i stigende grad brugt til at handle på vegne af brugere – eksempelvis ved at booke, købe eller koordinere. Men en ny benchmark fra arXiv-forskningsmiljøet viser, at selv stærke tool-use LLM'er har store problemer med at træffe de rigtige beslutninger, når de ikke får alle informationer serveret.
Benchmarken, UserToolBench, er bygget på privatlivssanerede, virkelige interaktionsspor og kombinerer strukturerede personaprofiler, offentlige API-lignende værktøjssystemer og langvarige multi-turn-forløb. Den indeholder 10 brugerprofiler, 36 værktøjssæt, 1.065 dialogrunder og 170 unikke værktøjer. Testen fokuserer på tre opgavetyper: manglende information, enkelt-værktøj og multi-værktøj.
Resultaterne er klare: Modellerne formår ikke at udlede latente brugerpræferencer fra interaktionshistorikken, og de har svært ved at vide, hvornår de bør spørge om afklaring. Særligt multi-værktøjskoordinering, inferens af manglende begrænsninger og langtidsholdbar adfærdskonsistens er store flaskehalse.
Det interessante er ikke kun den tekniske begrænsning, men hvad den betyder for virksomheder og beslutningstagere. Hvis AI-assistenter skal bruges til at delegere opgaver – fra kundeservice til intern procesautomatisering – så er evnen til at træffe korrekte beslutninger på vegne af brugeren afgørende. Den nye benchmark flytter fokus fra, om output lyder personligt, til om modellen faktisk handler korrekt for den bruger, den repræsenterer. Det er et vigtigt skridt for at kunne evaluere og vælge de rigtige modeller til agentiske anvendelser.
For dem, der bygger eller køber AI-løsninger, betyder det, at man ikke skal regne med, at selv avancerede modeller er klar til uovervåget personaliseret delegation. Man bør designe systemer, der aktivt beder om afklaring, og som har menneskelig oversight i kritiske beslutningspunkter.
