Forskere har præsenteret en ny tilgang til et af de største problemer i distribueret AI: at modeller, der trænes på tværs af mange enheder, glemmer tidligere viden, når de lærer nye opgaver. Metoden, kaldet FedQCL, er beskrevet i et nyt paper på arXiv, og den adresserer problemet uden at kræve ekstra kommunikation mellem enhederne.
Kernen i problemet er, at traditionelle systemer behandler hver opgave som et separat optimeringsproblem, hvilket fører til såkaldt 'katastrofal glemsel' – modellen overskriver ældre viden for at lære nye ting. FedQCL griber det anderledes an: I stedet for at se glemsel som et lokalt problem, formulerer forskerne det som et stokastisk kontrolproblem, hvor virtuelle køer sporer, hvor meget glemsel der akkumuleres over tid og på tværs af klienter. Dette giver en eksplicit og justerbar mekanisme til at balancere stabilitet (bevare viden) og plasticitet (lære nyt) via en enkelt parameter.
For virksomheder, der implementerer federated learning – fx i sundhedssektoren, finans eller IoT – er dette ikke en akademisk detalje. Problemet med glemsel er en af de største barrierer for at bruge distribueret læring i praksis, fordi modeller ofte mister præcision på ældre data, når de opdateres med nye. FedQCL's tilgang kræver ikke gradient-projektion eller ekstra kommunikation, hvilket gør den attraktiv i båndbreddebegrænsede miljøer.
Empiriske tests på Split-CIFAR-10, Split-CIFAR-100 og Split-TinyImageNet viser, at FedQCL overgår eksisterende metoder i nøjagtighed og reducerer glemsel markant under heterogene datafordelinger – altså når data på forskellige enheder er meget forskellige, hvilket er normalt i virkelige scenarier.
For beslutningstagere betyder det, at der nu findes en mere praktisk vej til at skalere AI-systemer, der skal lære kontinuerligt uden at skulle genstarte fra bunden. Det kan have betydning for alt fra personlige assistenter, der skal tilpasse sig nye brugere, til industrielle systemer, der skal opdateres med nye data uden at miste vigtig historik.
