Nye forskningsresultater fra et arXiv-studie afslører et paradoks i moderne audio-sprogmodeller (audio-LLM'er): De opfanger og internt repræsenterer følelsesmæssige og sproglige nuancer i tale – kaldet prosodi – men formår ofte ikke at bruge denne information i deres endelige svar. Dette kan få afgørende betydning for virksomheder, der bygger stemmestyrede assistenter, kundeservice-løsninger eller andre systemer, hvor forståelse af tone og følelser er kritisk.
Forskerne bag studiet introducerer en såkaldt 'stage-specific probe ladder' til at lokalisere, hvor i modellen fejl opstår. Ved at analysere fire audio-LLM'er finder de, at prosodisk information typisk er bevaret i lydstien og kan afkodes i de sene LLM-tilstande – men kun delvist udtrykkes i modellens endelige respons. Gennem målrettede interventioner i modellens interne tilstande viser de, at en enkelt redigering på det relevante lag kan skubbe modellen mod den 'undertrykte' prosodiske beslutning, hvilket indikerer, at problemet ikke ligger i perception, men i anvendelsen.
For beslutningstagere betyder dette, at selv avancerede audio-modeller kan fejle i scenarier, hvor følelsesmæssig nuance er vigtig – for eksempel i sundhedsrådgivning, juridisk assistance eller avanceret kundesupport. Modeller, der 'hører' frustration eller usikkerhed, men ikke reagerer derefter, kan føre til misforståelser og dårligere brugeroplevelser. Studiet understreger behovet for at evaluere audio-LLM'er ikke kun på transkriptionsnøjagtighed, men også på deres evne til at fortolke og handle på 'hvordan' noget bliver sagt.
Selvom resultaterne er baseret på et begrænset antal modeller og opgaver, peger de på en konkret forbedringsmulighed: At træne modeller til at udnytte latent tilgængelig prosodisk information kan være mere effektivt end at forbedre lydkodningen. For virksomheder, der investerer i stemme-AI, er dette et signal om at kræve mere nuancerede evalueringsmetoder fra leverandører.
