Forskere har præsenteret en ny metode, der markant forbedrer læbebevægelserne i AI-genererede talende hoveder – et område, der længe har været en udfordring for fotorealistiske avatarer. Metoden, kaldet PD-GS (Phoneme-Driven Gaussian Splatting), adresserer et velkendt problem kendt som 'leaky mouth', hvor munden ser ud til at lække eller ikke lukker ordentligt under tale.
Kernen i problemet er, at traditionelle systemer, der genererer talende hoveder, ofte udjævner mundbevægelserne, hvilket resulterer i unaturlige læber, der ikke lukker korrekt ved lyde som 'b' og 'p'. Dette skyldes, at de korte, distinkte artikulatoriske begivenheder – som en bilabial lukning – er svære at udlede fra et kontinuerligt lydsignal alene. PD-GS løser dette ved at tilføje tidsjusterede fonem-tokens fra en automatisk talegenkendelses- og tvungen justeringspipeline.
Metoden introducerer en 'Linguistic Fusion Module' (LFM), som adaptivt kombinerer kontinuerlig lydkontekst med diskrete fonem-embeddings gennem en lært gate. Dette gør det muligt for modellen at bevare glatte, lyddrevne dynamikker, mens den styrker fonemstyringen på kritiske artikulationssegmenter. Ifølge arXiv-papiret opnår PD-GS den bedste læbegeometri blandt sammenlignede baseline-modeller på HDTF-datasættet med en LMD-score på 2,66, og det reducerer kvalitativt lukkeovertrædelser i udfordrende fonemsekvenser.
For beslutningstagere inden for AI og digital medieproduktion betyder dette, at vi er et skridt tættere på avatarer, der kan bruges i alt fra virtuelle assistenter til underholdning og kommunikation, hvor troværdig mundbevægelse er afgørende for brugeroplevelsen. Teknologien er trænet udelukkende fra monokulært video ved hjælp af billedrekonstruktion og læbepunkts-supervision, hvilket gør den tilgængelig og potentielt let at integrere i eksisterende pipelines.
