Microsoft har offentliggjort et nyt datasæt, Metag, der skal gøre det lettere at bygge AI-agenter til meta-review af videnskabelige artikler. Datasættet adresserer den voksende byrde på meta-reviewere, som skal sammenfatte feedback fra flere reviewere, forfatternes svar og ændringer i manuskripterne. Metag indeholder 349 højkvalitets-aktioner, der knytter reviewer-bekymringer til konkrete ændringer i artiklerne, indsamlet ved at sammenligne manuskriptversioner før og efter review og aligne dem med OpenReview-diskussioner. Datasættet er offentligt tilgængeligt på GitHub og præsenteret i en arXiv-publikation.
For beslutningstagere i forsknings- og forlagsbranchen betyder dette et skridt mod øget automatisering af peer review-processen. Metag kan muliggøre værktøjer, der hurtigt identificerer, om forfattere har adresseret reviewers kommentarer, og hvor i papiret ændringerne er foretaget. Dette kan reducere tidsforbruget for meta-reviewere og øge gennemsigtigheden i en proces, der ofte er uigennemsigtig. For virksomheder, der udvikler AI-løsninger til akademisk udgivelse eller forskningsinfrastruktur, repræsenterer datasættet en mulighed for at bygge produkter, der adresserer et reelt behov i det videnskabelige økosystem.
Selvom datasættet er relativt lille (349 eksempler), er det et vigtigt fundament for videre udvikling. Det er et eksempel på, hvordan AI kan bruges til at lette administrative og kvalitetssikrende opgaver i forskning, og det kan bane vejen for mere avancerede systemer, der integrerer review-processer med forlagsplatforme. For investorer og strateger i edtech- eller akademiske teknologisektorer er dette et signal om, at der er aktivitet i at løse peer review-flaskehalse.
