BV-SALA · En producció

BiVelio Savings Layer

Gasta menys en cada crida a la IA.

Què és

BV-SALA es col·loca entre la teva aplicació i l'API d'IA. Abans que el teu prompt surti, aplica una sèrie d'optimitzacions i modificacions —compressió, reescriptura i reducció de context redundant— perquè la mateixa tasca consumeixi menys tokens i, per tant, costi menys.

Portada de BV-SALA Savings Layer, «Verifiable Measurement of Cost Savings in Large Language Model Applications»: un instrument de mesura de vidre sobre dos carrils de dades. — Fig. 1 — Gasta menys en cada crida a la IA.

Com funciona

1
Rep el teu prompt i el context que anaves a enviar.
2
Aplica optimitzacions: elimina la redundància, comprimeix i reescriu mantenint la intenció.
3
Envia la versió mínima suficient a l'API que ja fas servir.
4
Et retorna la resposta i les mètriques d'allò que s'ha estalviat.

Fig. 2 — Una capa que optimitza i reescriu el teu prompt abans d'enviar-lo a l'API, per reduir el cost per crida.

El paper, en detall

§1 El problema, formalitzat

El proveïdor cobra una funció essencialment lineal en tokens, comptats amb el seu propi tokenitzador. BV-SALA tria π* = argmin E[C(π(x))] subjecte al contracte de qualitat Q ≥ τ. La dificultat intrínseca: Q no és observable abans d’executar, així que cada transformació del catàleg porta la seva pròpia guarda — s’aplica només on l’evidència acumulada indica que preserva la intenció, i en el dubte la petició viatja intacta.

C(x) \;=\; c_{\text{in}} \cdot T_{\text{in}}(x) \;+\; c_{\text{out}} \cdot T_{\text{out}}(x)

(1)

\pi^{*} \;=\; \operatorname*{arg\,min}_{\pi \,\in\, \Pi} \; \mathbb{E}\big[\, C(\pi(x)) \,\big] \qquad \text{s.t.} \qquad Q(\pi(x)) \,\ge\, \tau

(2)

§2 Tres llibres comptables que no se sumen

Cada petició optimitzada s'atribueix a exactament un llibre segons el mecanisme dominant: evitar la crida per complet, treure el que no calia enviar o comprimir el que queda. Cada xifra parla sobre el seu propi denominador — agregar-les seria comptar el mateix euro dues vegades — i un llibre que no supera el zero davant dels dos braços de control es publica igualment, amb la seva etiqueta, però no s'anuncia.

S_{\ell} \;=\; 1 \;-\; \frac{\sum_{x \in R_{\ell}} C\big(\pi^{*}(x)\big)}{\sum_{x \in R_{\ell}} C(x)}

(3)

§3 Mesura: el terra de l’interval

Mateix model en dos braços de control — davant d'una integració sense optimitzar i davant de la mateixa integració ja optimitzada a mà — i cost cotitzat amb el comptador del mateix proveïdor, sense línia base modelada. Els escenaris s'agreguen amb un bootstrap estratificat, amb pes u per escenari, i publiquem la cota inferior unilateral de l'interval de confiança al 95 %, mai l'estimació puntual. D'aquí que el titular s'anunciï com a ≥ 20,0 % menys factura en gpt-4o-mini: per sota del que supera el més exigent dels dos controls.

S_{\text{pub}} \;=\; \hat{S} \;-\; z_{0.95}\,\widehat{\operatorname{se}}\big(\hat{S}\big)

(4)

§4 Comptabilitat neta i memòria cau honesta

Analitzar cada petició també consumeix: tota la comptabilitat és neta i l’estalvi publicat descompta el cost de la mateixa capa. I la memòria cau només compta si la resposta reutilitzada continua sent vàlida: les claus incorporen model, versió, eines visibles i context efectiu — davant de qualsevol diferència, es crida.

S_{\text{net}} \;=\; 1 \;-\; \frac{C\big(\pi^{*}(x)\big) + C_{\text{layer}}(x)}{C(x)}

(5)

k_{\text{cache}} \;=\; H\big(\text{model} \,\Vert\, \text{version} \,\Vert\, \text{tools} \,\Vert\, \text{context}\big)

(6)

El paper

BV-SALA té paper propi (agost de 2026): com es mesura l'estalvi amb el comptador de facturació del mateix proveïdor, amb cada escenari executat dues vegades i cada xifra amb el seu interval de confiança del 95 %. En anglès, amb un resum de conclusions en castellà; 9 pàgines.

Llegir el paper Descarregar el PDF

Fabricat a BiVelio Factory

El paper de BV-SALA és el producte 01 del moll de sortida de BiVelio Factory, on apareixen les aplicacions, els papers i les empreses que surten de la fàbrica.

Veure-ho a BiVelio Factory

Què aporta

Menys tokens enviats per la mateixa tasca.
Funciona amb les API que ja fas servir, sense canviar de proveïdor.
Mètriques d'estalvi visibles a cada crida.

Estat

Perfectament productivitzat com a producte independent: savings.bivelio.com — SDK amb llicència a npm i estalvi mesurat contra el comptador del mateix proveïdor, amb el seu interval de confiança al costat.

Les xifres que publiquem estan mesurades, no estimades — mai projeccions. Tota la nostra recerca s'executa aprofitant la inferència i el maquinari de NVIDIA.

Llegir l'article complet Tots els algorismes