Forskning i tegnsprogs-AI for sprog med begrænsede ressourcer er ofte bremset af de høje omkostninger ved at lave tætte sproglige annotationer som glosser, tidsmæssige afgrænsninger og tegnrækkefølge. Et nyt studie fra arXiv viser, at svag supervision fra tv-nyhedsudsendelser kan erstatte en stor del af dette manuelle arbejde og samtidig markant forbedre tegnsprogsgenkendelse.
Forskerne bag studiet præsenterede en metode, hvor de trænede en tegn-encoder på TSL-News, et nyt tyrkisk tv-nyhedskorpus, ved at udlede pseudo-glosser fra talte transskriptioner i stedet for manuelle annotationer. De sammenlignede regelbaseret morfologisk lemmatisering med en LLM-assisteret normalisering over et fast vokabularium. Resultaterne viser, at LLM-assisteret supervision løftede top-5 temporal lokalisering (mean IoU) fra 0,235 til 0,465, og at 56,2% af eksemplerne nåede en IoU på mindst 0,50. En frekvensanalyse indikerede, at forbedringen ikke primært skyldes memorering af hyppige pseudo-glosser.
Metoden blev også testet i en downstream-opgave med tegnsprogsoversættelse, hvor den samme prætræning forbedrede BLEU-4 fra 9,60 til 11,04 og ROUGE fra 23,48 til 27,43. Dette tyder på, at de lærte repræsentationer fanger både leksikalsk indhold og tidsmæssig struktur.
For beslutningstagere og investorer er pointen, at svag supervision fra let tilgængelige kilder som tv-udsendelser kan reducere barrieren for at udvikle tegnsprogs-AI til sprog med få ressourcer markant. Det åbner for bredere kommercielle og sociale anvendelser, fra automatisk oversættelse til søgbare videoarkiver – uden at skulle investere i store manuelle annotationsprojekter.
