Organisationer, der bruger data til at beslutte, hvem der skal modtage en indsats – fx et sundhedsprogram eller en markedsføringskampagne – stoler ofte på offline-evaluering for at forudsige, hvad en målretningsregel ville have opnået. Men en ny videnskabelig benchmark viser, at denne tilgang kan være fundamentalt upålidelig, især når reglen er deterministisk og vælger et fast antal modtagere (top-k).
Forskerne testede seks estimatorer på fem datasæt og fandt tre centrale problemer. For det første er svag overlap – hvor loggen ikke matcher den ønskede målgruppe – styret af, hvor godt logningssystemet rammer de samme handlinger som målreglen, ikke kun af loggens skarphed. Det betyder, at selv en tilsyneladende god log kan give misvisende resultater, hvis der er uenighed på handlingsniveau.
For det andet løser en almindelig statistisk teknik – cross-fitting – ikke det såkaldte 'optimizer's curse', hvor reglen er tilpasset de samme data, som bruges til at evaluere den. Tværtimod kan det forværre bias. En ærlig opdeling af data på politikkniveau er nødvendig, men det ændrer selve målet for evalueringen.
Det tredje og største problem er fejl i estimeringen af tilbøjelighedsscore: en out-of-fold estimering skader IPS-estimatoren mere end nogen anden stressfaktor, mens dobbelt-robuste estimatorer næsten er upåvirkede. Vigtigst: fejlen kan vende selve overlap-diagnostikken på hovedet, så man tror, at data er gode, når de ikke er det.
For beslutningstagere betyder det, at offline-evaluering ikke kan bruges ukritisk som grundlag for at allokere budgetter. Selv med begrænsede vægte (propensities floored ved 0.02) opstår alle fejl, hvilket understreger, at problemet ikke er ekstreme værdier, men strukturelle svagheder i metoderne. Forskerne frigiver benchmarket, så andre kan teste deres egne pipelines.
