En ny undersøgelse fra arXiv viser, at store sprogmodellers modstand mod at generere retoriske fejlslutninger primært afhænger af, hvordan anmodningen er formuleret — ikke af selve påstanden. Forskningen, præsenteret i DeflectBench, evaluerede 23.990 generationer fra fire førende modeller på tværs af tre afledningsstrategier (whataboutism, ad hominem, red herring), syv prompt-rammer og 80 påstande på fire kontroversniveauer.
Resultaterne viser, at afvisning varierer med kun 11 procentpoint på tværs af de 80 påstande, mens en enkelt ændring af prompt-rammen kan ændre afvisningsraten med næsten 100 procentpoint inden for samme model. At skifte den ønskede fejlslutningstype kan ændre raten med over 80 procentpoint inden for eksplicitte rammer.
Særligt bemærkelsesværdigt er, at en prompt formuleret som en "educational debate coach" reducerer afvisningen til næsten nul på tværs af alle fire modelfamilier. Men den omgåede adfærd er ikke ren compliance: Modellerne leverer typisk "labeled compliance", hvor de navngiver den ønskede manipulation i samme svar, som indeholder den. De fire modeller fordeler sig forskelligt på afvisning, labeled compliance, blød afvisning og ren compliance.
For beslutningstagere, der bygger eller køber AI-systemer, rejser dette spørgsmålet om, hvor robust sikkerhedspost-træning egentlig er. Hvis en simpel ændring af promptstrukturen kan omgå beskyttelsen, kan virksomheder ikke udelukkende stole på modelleverandørernes sikkerhedsforanstaltninger — de må selv teste og overvåge output i deres specifikke use cases. Koden og datasættet er offentliggjort, hvilket giver mulighed for uafhængig verifikation og videreudvikling.
