En ny datatype fra arXiv-forskerne bag CurveFP kan ændre regnestykket for virksomheder, der træner eller driver store sprogmodeller. Formatet lover at kombinere FP8-lignende numerisk præcision med syv-bit inferens og en markant enklere produktsti — hvilket kan reducere både beregningsomkostninger og energiforbrug.
Traditionelle lavpræcisionsformater optimerer typisk skalar-fidelitet, men efterlader den aritmetik, der opstår ved produkter, uændret. CurveFP introducerer en "lukket produkt"-kodebog, der distribuerer kvantiserede magnituder over interleaved logaritmiske kurver under kompakte blokskalaer. Det betyder, at produktdannelse bliver en eksakt XOR på fortegn og en heltalsindeksopdatering — en fundamentalt enklere operation end traditionel multiplikation, som arXiv-papiret beskriver.
I evalueringer slår CurveFP syv-bit tensor-wise FP8 på fire 7B–9B-modeller med én færre elementbit, og holder sig inden for 1,32 % af native kvalitet. CurveFP otte-bit sænker operand-NMSE i alle 36 sammenlignede fremad- og bagudrettede GEMM-operationer. I tre matchede 128,3M-parameter-tripletter gennemfører hver tilstand 3B-token pretraining per seed; CurveFP otte-bit opnår en gennemsnitlig BF16-inferens-perplexity på 22,5366 mod 22,5407 for FP8, med en lavere formatinduceret straf i alle tre seeds.
For beslutningstagere er pointen ikke kun teknisk. Hvis formatet holder i praksis, kan det sænke omkostningen pr. token både ved træning og inferens — hvilket direkte påvirker driftsbudgetter for AI-produkter og -tjenester. En syv-bit inferenssti kan også muliggøre deployment på hardware med lavere hukommelses- og båndbreddekrav, hvilket er relevant for edge-enheder og mindre cloud-instanser.
Forskerne understreger, at resultaterne spænder over en bred downstream-matrix: I 36 celle-sammenligninger finder de lavere WikiText-103-perplexity for CurveFP otte-bit-trænede checkpoints i alle 12 seed-format-sammenligninger, med blandede PG-19- og opgavedeltaer. Det antyder, at fordelen er robust på tværs af opgavetyper — ikke kun på en enkelt benchmark.
