En ny tre-trins metode til eftertræning af sprogmodeller kan gøre dem i stand til at besvare spørgsmål om et afgrænset dokumentarkiv uden at hente kildedokumenterne frem ved inferens. Metoden, kaldet IAR (Inject, Align, Recover), er beskrevet i et nyt paper på Hugging Face og adresserer et kerneproblem for virksomheder, der vil bruge sprogmodeller på interne dokumenter uden at skulle bygge komplekse retrieval-systemer.
IAR adskiller sig fra konventionel continued pretraining ved at opdele processen i tre faser: Inject, der konverterer kildedokumenter til forskellige træningsformål; Align, der tilpasser modellen med QA-supervision; og Recover, der fusionerer den domænetilpassede model med basisinstruktionsmodellen for at bevare generelle evner. Ifølge paperet forbedrer IAR den domæne-primære og domæne-generelle front på tværs af model-familier som Llama, Phi, Qwen og SmolLM.
I hoved sammenligningen forbedrer IAR over Vanilla SFT på alle fire rapporterede metrics i 7 ud af 8 dataset-model-konfigurationer, med gennemsnitlige forbedringer på 3,6 procentpoint i domæne-QA-nøjagtighed og 12,1 procentpoint i gennemsnitlig generel ydeevne på tværs af IFEval, MMLU og MSBench. Forlængede CC-baselines viser, at LoRA og FAPM kan vinde individuelle generelle metrics, men blandt metoder, der også når førende eller næsten førende domæne-internalisering, beholder IAR en af de stærkeste generelle profiler.
For beslutningstagere betyder det, at man kan opnå høj domæne-nøjagtighed uden at ofre modellens generelle kompetencer — en afvejning, der ofte er kritisk, når man skal vælge mellem specialiserede og generelle modeller. Metoden er særligt relevant for organisationer, der ønsker at internalisere store dokumentmængder i modellen selv, frem for at investere i dyr retrieval-infrastruktur.
