Når virksomheder vælger en LLM-tjeneste, stoler de ofte på capability benchmarks, der siger lidt om, hvordan modellen opfører sig i drift. Et nyt forskningspapir fra Google Cloud introducerer Operational Embedding (OpEmbed), et framework, der lærer kompakte operationelle fingeraftryk af LLM-tjenester ud fra struktureret, privatlivsbevarende support-case metadata – uden at bruge selve tekstindholdet.
OpEmbed aggregerer model-tidsvinduer til en otte-kanals operationel signatur og lærer en lavdimensionel repræsentation via temporal contrastive learning, cross-view reconstruction og generational-ordinality regularization. Evalueringen er baseret på mere end 33.000 produktionssupport-sager fordelt på syv LLM-familier over 26 måneder hos Google Cloud. Resultaterne viser, at OpEmbed genskaber fortolkelig familie- og versionsniveau-struktur, forbedrer leave-one-model-out operationel forecasting sammenlignet med ikke-lærte baselines, forbliver nyttig med begrænset tidlig-vindue-data og understøtter cross-model fault-type transfer.
For beslutningstagere betyder dette, at man nu kan vurdere en models operationelle parathed – ikke kun dens ydeevne i tests – hvilket er afgørende for model onboarding, support readiness og løbende overvågning. Papiret rapporterer praktiske erfaringer fra at bygge og evaluere værktøjet, hvilket giver indsigt i, hvordan man kan integrere operationelle fingeraftryk i eksisterende workflows.
