Forskere har hidtil trænet AI-systemer til videnskabelig peer review udelukkende på materiale fra datalogi- og maskinlæringsfora. Det betyder, at modellerne kan kritisere et ablationsstudie, men aldrig har set en biolog kræve kontaminationskontrol eller en kemiker stille spørgsmål til NMR-spektraldata. Med FIRSTPASS-datasættet introduceres nu det første store korpus, der bygger på komplette flerrunde-redaktionsdialoger fra et tværfagligt tidsskrift med høj impact.
Datasættet er kurateret fra Nature Communications' obligatoriske transparente peer review, indført i november 2022, og omfatter 3.668 sager fordelt på fem videnskabelige domæner: biologi, kemi, neurovidenskab, fysik og jordvidenskab. Det fanger hele den iterative struktur i videnskabelig validering: indledende referee-rapporter, forfatternes punkt-for-punkt-svar og opdaterede vurderinger fra reviewerne. Hver sag har et udfaldslabel baseret direkte på redaktionelle beslutninger (STANDARD for to-runde review, EXTENDED for tre eller flere runder), hvilket giver en ground truth, som tidligere korpora mangler.
En automatiseret audit bekræfter 100 procent indholdsintegritet, og ekspertanmeldelser er i gennemsnit på 2.155 ord — markant tættere end konference-anmeldelser. Alle data, parsing-pipelines og evalueringsscripts er offentliggjort for at muliggøre reproducerbar benchmarking af AI's videnskabelige dømmekraft på tværs af discipliner.
For beslutningstagere i forsknings- og udviklingsorganisationer betyder det, at AI-værktøjer til kvalitetssikring af videnskabeligt arbejde kan blive væsentligt mere robuste og mindre siloprægede. Virksomheder, der bygger systemer til forskningsstøtte, eller som selv bruger AI til intern validering, får nu et fælles benchmark at måle sig mod — og et grundlag for at udvikle modeller, der forstår fagspecifikke krav uden for det traditionelle CS-miljø.
