En ny videnskabelig artikel fra arXiv udfordrer en grundlæggende antagelse i AI-governance: at mennesker kan føre tilsyn med AI-output ved at vurdere, om indholdet er korrekt. Ifølge forskerne bag Flow-by-Flow bliver denne tilgang strukturelt umulig i højrisikoområder, når AI'ens outputhastighed overstiger menneskets kognitive kapacitet.
Kernen i problemet er ikke kun hastigheden, men produktet af hastighed og kognitiv belastning pr. enhed. Belastningen består af tre dele: sortering, vurdering og respons. Pointen er, at kun vurderingsdelen kan reduceres, når AI-modeller bliver bedre — og selv dén reduktion sker ofte ved at udelade vurderinger frem for reelt at mindske dem. Sorteringsomkostningen falder ikke, fordi sproglig ubestemthed er indbygget i generelle systemer, og responsomkostningen er uafhængig af præcision.
Det betyder, at forbedringer i AI-kapacitet ikke mindsker den samlede belastning, men omstrukturerer den. Governance-mekanismer, der evaluerer, om output er korrekt, ender i et dilemma: overlades vurderingen til AI, arver man hallucinationsrisiko; overlades den til mennesker, rammer man loftet for kognitiv kapacitet.
Som alternativ foreslår artiklen en paradigme, der styrer tilsynsbyrden uden at vurdere indhold. Et kognitivt omkostningsscor baseret på formelle, tællelige træk lægger ikke-lineære omkostninger på højvolumenproduktion, mens et institutionelt kapacitetsloft holder behandlingsvolumen inden for menneskelig formåen. Fire designinvariante principper skal sikre, at omgåelsesveje ikke underminerer systemet: ingen indholdsvurdering, intet skalerbart forbrug af eksaminatorkapacitet, identitetsbunden friktion pr. applikation og ingen batchgodkendelse.
Artiklen anerkender åbent, at en referenceimplementering har praktiske vanskeligheder, men en illustrativ Monte Carlo-analyse over 1.000 parameterudtræk antyder, at sammensat, multi-metrisk flowkontrol klarer sig bedre end ren supervision-forstærkning i 90,8 % af forsøgene.
For beslutningstagere er implikationen klar: Hvis man bygger, køber eller regulerer AI-systemer i højrisikodomæner — fx sundhed, finans eller jura — kan man ikke længere regne med, at menneskelig gennemgang af indhold er en holdbar kontrolmekanisme i takt med, at AI-hastigheden stiger. Styring bør i stedet fokusere på formelle, målbare egenskaber ved outputtet og på at begrænse volumen, så den menneskelige kapacitet ikke overskrides.
