Refleksioner i video – fx fra glasfacader eller butiksvinduer – har længe været en udfordring for computersyn. Mens enkeltbilleder kan renses, har videoer manglet både data, modeller og benchmarks. Nu præsenterer forskere en samlet løsning, der både simulerer refleksioner fysisk korrekt og fjerner dem i video i ét enkelt denoising-trin. Metoden, kaldet S2R, er beskrevet i et nyt paper og består af tre dele: en syntese-pipeline (S2R-Synthesis), en fjernelsesmodel (S2R-Removal) og et benchmark (S2R-Bench).
S2R-Synthesis genererer par af videoer med og uden refleksioner ved at modellere glaseffekter som sløring, ghosting og varierende refleksivitet. S2R-Removal er den første diffusionsbaserede model til video-refleksionsfjernelse, der tilpasser en eksisterende videodiffusionsprior gennem refleksionsbevidst latent adaptation og pixel-geometrisk forfining. Ifølge forskerne opnår modellen state-of-the-art resultater på både S2R-Bench og offentlige billed-benchmarks, og den er hurtigere end selv ikke-diffusionsbaserede alternativer.
For beslutningstagere betyder det, at videoanalyse i komplekse miljøer – fx overvågning, trafikstyring eller industriinspektion – kan blive markant mere pålidelig. Refleksioner har hidtil været en kilde til fejl i downstream-opgaver som objektdetektion og sporing. Med en effektiv fjernelsesmodel kan systemer, der bygger på computer vision, få mere robuste inputdata uden at skulle investere i dyrere hardware eller manuel datarensning.
Forskerne har også etableret det første dedikerede benchmark for video-refleksionsfjernelse, hvilket giver branchen en standard at måle sig mod. Det kan accelerere udviklingen af kommercielle løsninger, da man nu kan sammenligne og validere produkter på en fælles platform.
