En ny audit af AION-1, en astronomisk foundation-model trænet på mere end 200 millioner objekter, afslører en alvorlig skævhed: Modellens output ændrer sig markant, når kun detektionskortet (survey-segmenteringskortet) redigeres, mens selve billedpixelerne forbliver identiske. Ifølge arXiv-papiret ændrer modellen alle rapporterede størrelser – flux, størrelse, ellipticitet og rødforskydning – med 110 til 4400 gange en matchet placebo-effekt. Årsagen er, at modellen i højere grad stoler på tilstedeværelsen af detektion i feltets centrum (r = 0,47) end på selve lyset, som masken omslutter (r = 0,30).
For beslutningstagere, der bruger sådanne modeller til kosmologiske analyser, er konsekvensen alvorlig: Legacy Survey-pipelinen efterlader 3,68 % af målene uden et segment, der dækker deres position. Når denne fejlrate indregnes, forskydes tomografiske middel-rødforskydninger med en median på 0,71 gange LSST DESC-kravet, og i 12 ud af 40 tilfælde overskrides kravet. Værste bin når op på 8,3 gange kravet. Selv hvis man korrigerer for størrelsesafhængigheden, ændrer det ikke på resultatet.
Det interessante er, at effekten kan fjernes ved at tilbageholde detektionskanalen – uden målbart tab – eller ved at bruge spektroskopi. Desuden vokser effekten med modellens størrelse. Tokeniseringen har også begrænsninger: billedkodeken opløser kun 28 effektive tilstande på kilde-patches mod 934 for spektrumkodeken, og rødforskydningsaflæsningen er kvantiseringsbegrænset.
For dem, der bygger eller køber astronomiske AI-modeller, er budskabet klart: Modellens præcision er ikke kun et spørgsmål om arkitektur, men om, hvordan træningsdataene – især katalogprodukterne – er konstrueret. Inkomplette kataloger introducerer systematiske fejl, som kan skævvride videnskabelige konklusioner. Det er værd at overveje at inkludere detektionskanalen som en eksplicit variabel eller at validere modeller mod spektroskopiske data for at undgå sådanne skævheder.
