En ny forskningsbenchmark fra Hugging Face viser et hidtil overset problem i robotteknologi: AI-systemer kan fuldføre en opgave med skrøbelige objekter, men gør det på en måde, der ville beskadige dem. Det skriver forskerne bag SoftVTBench, et nyt datasæt og benchmark designet til at måle fysisk interaktionskvalitet, ikke kun opgavesucces.

Traditionelle benchmarks vurderer kun, om robotten fuldfører opgaven — ikke om den for eksempel lader objektet glide eller klemmer det for hårdt. SoftVTBench adresserer dette ved at kombinere visuelle og taktile data med uafhængig fysisk ground truth. Datasættet indeholder 4.000 ekspertdemonstrationer og over 50 objekter, herunder volumetriske deformerbare objekter og visuelt matchede stive tvillinger. Hver episode synkroniserer multi-view RGB, taktile RGB-data fra to fingre, markørbevægelser, proprioception, sprog og griberhandlinger — alt sammen ved 20 Hz.

Benchmarken introducerer Deformation-aware Success Rate (DSR), som kun tæller en kørsel som succesfuld, hvis opgaven fuldføres, og den maksimale deformation holdes inden for tolerance. Resultaterne er tankevækkende: På tværs af tre politikker (Diffusion Policy, π₀.₅ og FastWAM) indeholder alle 12 in-distribution-konfigurationer succesfulde kørsler, der overskrider deformationstolerancen — mellem 0,7% og 24% af succeserne.

Under distribution shift klarer visuo-taktile varianter sig bedre på opgavesucces i alle seks sammenligninger og på DSR i fem. Men forskerne understreger, at blot at tilføje berøringssensorer ikke automatisk forbedrer multimodal fusion. SoftVTBench giver dermed et fælles grundlag for at undersøge, hvornår berøring faktisk forbedrer interaktionen.

For beslutningstagere inden for automation og robotik betyder det, at man bør kræve mere end blot opgavesucces, når man evaluerer AI-løsninger — især i applikationer med skrøbelige eller værdifulde objekter. At vælge en løsning udelukkende baseret på traditionelle success-metrics kan skjule skjulte omkostninger i form af beskadigede produkter eller ineffektiv håndtering.