Et nyt forskningsprojekt foreslår at bruge astronomi som et kontrolleret laboratorium til at forstå, hvornår og hvordan AI-modeller lærer begreber – en viden, der kan overføres til sprogmodeller (LLM'er). Ved at træne en transformer-model kaldet AstroPT på millioner af galaksebilleder, har forskerne fundet, at galakseegenskaber opstår i en fast rækkefølge, der følger deres kendte sværhedsgrad. For eksempel bliver lysstyrke (band magnitude), som er næsten direkte aflæselig i billedpixels, dechifrerbar tidligt i træningen og i lave lag af netværket, mens mere komplekse størrelser som rødforskydning og stjernedannelsesrate først opstår senere og i dybere lag.
Denne rækkefølge er uafhængig af træningsmetoden og skalerer kun i styrke, ikke i rækkefølge, med modellens størrelse. Forskerne viser også, at lineære prober – simple klassifikatorer der aflæser modellens interne repræsentationer – genfinder den fysiske struktur blandt galakseegenskaber. Det gør astronomi til en unik målestok: I sprog er der sjældent en objektiv sandhed om, hvilke begreber der er svære eller relaterede, men i astronomi kender man sværhedsgraden og relationerne på forhånd.
For beslutningstagere handler det ikke om galakser i sig selv, men om tillid. Når virksomheder og institutioner skal bruge LLM'er i kritiske beslutninger, er det afgørende at vide, hvornår modellen faktisk har lært et begreb – og hvornår den bare gætter. Denne forskning giver en metode til at kalibrere fortolkningsværktøjer, som i dag ofte anvendes "blindt" på sprogmodeller. Læs mere i den originale paper for tekniske detaljer om probe-eksperimenter og modelarkitektur.
