Industrivirksomheder, der vil bruge AI til at forudsige, hvornår maskiner fejler, har hidtil manglet et fælles grundlag for at sammenligne løsninger. Det råder et nyt benchmark fra arXiv-forskningsmiljøet bod på: FedCMAPSS er et benchmark for fødereret læring i estimering af restlevetid (RUL), bygget på det velkendte NASA C-MAPSS-datasæt.
Fødereret læring gør det muligt at træne AI-modeller på tværs af flere fabrikker eller enheder uden at dele rå sensordata – en fordel, når data er følsomme eller ejes af forskellige parter. Men indtil nu har forskning og udvikling manglet en fælles evalueringsramme, hvilket har gjort det svært at sammenligne resultater og vurdere, hvilke løsninger der reelt virker i praksis.
Benchmarket definerer fem standardiserede opgaver, der spænder fra ideelle forhold (IID) til ekstrem statistisk heterogenitet – altså situationer, hvor data fra forskellige kilder er meget forskellige. Forskerne har systematisk evalueret state-of-the-art fødererede optimeringsalgoritmer på tværs af flere neurale arkitekturer og offentliggjort kildekode og datasplit, så andre kan reproducere resultaterne og bygge videre.
For en beslutningstager i industrien betyder det, at man nu kan stille krav til leverandører af predictive maintenance-løsninger med udgangspunkt i en fælles målestok. Det reducerer risikoen ved at vælge teknologi på et uklart grundlag og gør det lettere at sammenligne tilbud fra forskellige udbydere.
