Forskere har præsenteret NL2SHACL-Bench, et benchmark designet til at måle, hvor godt sprogmodeller kan oversætte naturlige sprogkrav til SHACL – et teknisk format, der bruges til at validere vidensgrafer. SHACL er centralt for at sikre datakvalitet, men kræver typisk teknisk ekspertise, som de fleste domæneeksperter ikke har. Automatisk oversættelse fra naturligt sprog ville sænke denne barriere markant.
Benchmarkets resultater er blandede: De fire testede state-of-the-art sprogmodeller er gode til at generere syntaktisk korrekt SHACL, men de kæmper stadig med at producere semantisk ækvivalente begrænsninger for komplekse logiske og strukturelle mønstre. Det betyder, at selvom output ser rigtigt ud, kan det i praksis ikke opfange de nuancer, som en domæneekspert forventer.
For beslutningstagere er pointen klar: Automatisering af SHACL-forfatterarbejde er endnu ikke moden til komplekse, produktionsklare scenarier. Værktøjer baseret på sprogmodeller kan hjælpe med simple valideringsregler, men kræver stadig manuel gennemgang og teknisk ekspertise for avancerede brug. Dette benchmark giver dog et fælles grundlag for at måle fremskridt – og dermed et redskab til at vurdere, hvornår teknologien er klar til bredere adoption.
