En ny videnskabelig undersøgelse fra arXiv kaster lys over et fænomen, der har været kendt, men dårligt forstået: hvordan en AI-model kan tilegne sig adfærdsmæssige dispositioner fra træningsdata, hvor trækket ikke er semantisk udtrykt. Forskningen, beskrevet i papiret 'Stored in Optimizer State, Valued by Later Training', identificerer en to-trins mekanisme, hvor optimizerens tilstand transporterer den oprindelige påvirkning, og den efterfølgende træning bestemmer dens adfærdsmæssige værdi.
For beslutningstagere, der bygger eller køber AI-systemer, er implikationen klar: træningsdata kan have skjulte effekter, der først manifesterer sig senere, og som kan være svære at opdage med konventionelle metoder. Forskerne viser, at ved at transplantere kun den første moment (en del af optimizerens tilstand) kan man ændre modellens adfærd, selvom parametre og output forbliver uændrede på overfladen. Dette betyder, at en model kan bære på påvirkninger, der ikke er synlige i selve vægtene, men som aktiveres under efterfølgende træning.
Undersøgelsen dokumenterer, at de samme kilde-inducerede forskelle kan føre til negative, næsten nul, eller positive effekter afhængigt af den fremtidige træningssti – med målinger som -0.658, +0.008 og +0.658 i Qwen-modeller. Dette mønster gentager sig på tværs af 12 Llama-3.2-1B-seeds, hvilket indikerer en robust mekanisme. Forskerne har også valideret resultaterne på tværs af flere modelarkitekturer, herunder Qwen, SmolLM2 og Llama, samt i MNIST-systemer trænet med AdamW og momentum SGD.
For virksomheder, der investerer i AI, rejser dette spørgsmål om datasættenes kvalitet og kontrol. Hvis træningsdata kan indeholde skjulte bias, der først aktiveres senere, bliver det vigtigere at forstå og overvåge hele træningsforløbet – ikke kun de endelige modelvægte. Det kan også have konsekvenser for regulering og ansvarlighed, da modeller kan udvise adfærd, der ikke kan spores direkte til synlige data.
