Et nyt forskningsrammeværk fra arXiv adresserer et velkendt problem med AI i finanssektoren: at store sprogmodeller (LLM'er) ofte giver numerisk forkerte – men umiddelbart plausible – svar på komplekse finansielle beregninger. CIFQA (Calculation-Intensive Financial Query Answering) adskiller sprogforståelse fra numerisk eksekvering ved at lade specialiserede agenter håndtere fortolkning, routing, parameterudtræk, beregningsplanlægning og svar-generering, mens deterministiske Python-værktøjer udfører selve beregningerne.
I evalueringer på et kurateret benchmark for fastindskudsforespørgsler opnår CIFQA 95,54 % nøjagtighed på beregningstunge forespørgsler og 90,87 % samlet nøjagtighed – markant bedre end direkte LLM-baseline-modeller, selv når disse får fulde formler, rentekort og instruktioner. Ablationsstudier viser, at deterministiske komponenter som præcis renteopslag, løbetidsberegning, rullende-års-justering og logik for førtidig hævning er kritiske for ydelsen.
Bemærkelsesværdigt nok overgår en 17B open-source-model inden for CIFQA-rammeværket markant større frontier-modeller, der evalueres med samme finansielle information. Det indikerer, at arkitektonisk design er en vigtigere determinant for numerisk pålidelighed end modelstørrelse.
For beslutningstagere i finanssektoren – fra banker til forsikringsselskaber – betyder det, at man ikke nødvendigvis skal vente på endnu større modeller for at få pålidelige beregninger. I stedet kan man opnå høj nøjagtighed ved at kombinere mindre, åbne modeller med deterministiske beregningsværktøjer. Rammeværket er designet til at være generaliserbart til andre beregningsintensive finansielle opgaver ud over fastindskud.
