Nigeriansk pidgin tales af millioner, men er næsten usynlig i evalueringen af sprogmodeller. Det er et problem, fordi AI-systemer, der ikke forstår sprogets nuancer, risikerer at fejle i produkter rettet mod vestafrikanske markeder – fra kundeservice-chatbots til indholdsmoderering.
Nu introducerer forskere Wazobia Eval, et benchmark designet til at måle, hvor godt AI-systemer forstår sprogets følelsesmæssige nuancer, sarkasme og kulturelle ræsonnementer. Benchmarket bygger på et manuelt annoteret datasæt med over 550 eksempler og en følelses-taxonomi med 16 kategorier, der fanger kulturelt specifikke udtryk, som traditionelle sentimentanalyser overser.
For beslutningstagere er pointen ikke kun akademisk. Sprogmodeller, der fejler på pidgin, kan levere dårlige resultater i produkter rettet mod vestafrikanske markeder. Virksomheder, der investerer i AI-løsninger for regionen, bør se Wazobia Eval som et redskab til at vurdere, om deres modeller reelt forstår lokale sprogbrugere, ikke bare oversætter ord. Datasættet er offentligt tilgængeligt på Hugging Face.
