Ny forskning fra arXiv påpeger et markant hul i, hvordan vi vurderer AI-modellers moralske kompetence. Ifølge position paperet har feltet hidtil fokuseret næsten udelukkende på, om AI-output matcher menneskelige værdier – det såkaldte moral value problem. Men et andet, mindst lige så vigtigt aspekt overses: om modellerne kan identificere og korrekt anvende kontekstafhængige moralske normer – det såkaldte moral norm problem.
Forskerne bag papiret mener, at denne skævhed skyldes feltets afhængighed af beskrivende etiske rammer som Moral Foundations Theory og Kohlbergs stadier af moralsk udvikling, som lægger vægt på værdirepræsentation frem for normativ anvendelse. Resultatet er, at eksisterende benchmarks og evalueringsmetoder i høj grad klynger sig om værdiproblemet, mens normative etiske diskussioner er underrepræsenteret.
Papiret identificerer tre konkrete huller: (i) manglen på højkvalitets ground-truth-data for moralske normer og deres anvendelse, (ii) utilstrækkelig evaluering af mellemliggende ræsonnementprocesser, og (iii) begrænset opmærksomhed på identifikation af moralsk relevante træk i konteksten. Forskerne foreslår en forskningsdagsorden, der inkluderer udvikling af standardiserede formelle repræsentationer for normative teorier, konstruktion af ekspertannoterede datasæt, der fanger normanvendelse, og evalueringsprotokoller, der eksplicit adskiller værdi- og normniveau-kompetence.
For beslutningstagere er dette mere end en akademisk detalje. Når AI-systemer i stigende grad bruges i følsomme beslutningsprocesser – fra HR til sundhed og jura – er det afgørende at vide, om modellen blot gentager værdier, eller om den faktisk kan navigere i komplekse, kontekstafhængige normer. Hvis evalueringer kun måler værdier, risikerer man at overse systematiske fejl i normanvendelse, hvilket kan føre til utilsigtede konsekvenser i praksis.
