Forskere har introduceret Simplax, en metode der forbedrer diskrete diffusionsmodeller til kategorisk generering – det vil sige modeller der genererer data som tekst eller Sudoku-løsninger, hvor hvert element tilhører en bestemt kategori. Metoden tilføjer en ekstra kontinuert variabel til hver korrumperet kategorisk tilstand, hvilket bevarer den oprindelige uniforme diffusionsproces som marginalfordeling. Dette giver en såkaldt Rao–Blackwellized reverse-bridge objective og en stokastisk reverse sampler, der forbedrer genereringskvaliteten uden at ændre den underliggende korruptionsproces. Læs mere i det originale paper.
Empirisk viser Simplax forbedringer i perplexity-entropy tradeoff på OpenWebText, og på Sudoku opnår en model trænet udelukkende på 30-ledetråde den højeste nøjagtighed blandt sammenlignede metoder på tværs af alle evaluerede ledetrådstætheder, inklusive det mindste unikt løsbare 17-ledetråde-regime. Se detaljerede resultater.
For beslutningstagere inden for AI betyder dette, at diskrete diffusionsmodeller kan blive mere konkurrencedygtige til opgaver som tekstgenerering og strukturel problemløsning, uden at man behøver at ændre den underliggende modelarkitektur. Det kan reducere omkostningerne ved at opnå høj kvalitet i applikationer, der kræver præcis kategorisk output – for eksempel inden for kodning, dataanalyse eller spil.
