BV-SALA Savings Layer: Verifiable Measurement of Cost Savings in Large Language Model Applications

Resum

El resum de conclusions en castellà amb què es tanca el mateix paper (citat en l'idioma original):

Este trabajo presenta una evaluación delimitada de BV-SALA basada en usage reportado por el proveedor y tarifas de lista versionadas, con trazabilidad documental y sin afirmar trazabilidad metrológica ni conciliación de facturas. Las ejecuciones live del SDK usaron bootstrap percentile por clúster con 10.000 remuestreos: 31,5% [25,7; 36,7] en OpenAI (100 familias, 200 solicitudes) y 75,1% [69,3; 79,6] en Anthropic (31 familias, 62 solicitudes). En Anthropic, unos 41 puntos porcentuales corresponden al efecto de caché de prefijo habilitado mediante cache_control en el brazo instrumentado; el baseline tenía cero cache-read y el brazo B, 72.447 tokens. El 2,49% [1,50; 3,57] del gateway procede de una reproducción contrafactual separada de 19.779 solicitudes, 51 sesiones y 13 días, con baseline parcialmente reconstruida, no de una doble ejecución live. Se distinguen importes measured, reference-valued y estimated; la telemetría incluye recuentos, costes y metadatos permitidos. La precisión Sonnet fue 56/56 en cada brazo y la latencia mediana de llamadas al proveedor fue 1.969 ms (A) y 2.225 ms (B), sin demostrar no inferioridad. El umbral económico usa F como fee mensual total y r = 0,315/0,30 como razón en un único punto, no como pendiente validada. Las muestras pequeñas, la deriva temporal, la frescura de la caché exacta, la organización única, la condición de desarrollador de los autores y los logs gateway privados limitan las conclusiones. Quedan para trabajo futuro el diseño factorial, el barrido de ρ, experimentos jerárquicos de varios días, pruebas de no inferioridad, replicación externa y conciliación con facturas.

Abstract (original, en anglès)

Cost claims for large language model (LLM) optimizations require explicit workloads, uncertainty, and a documented cost basis. This paper presents BV-SALA Savings Layer, an in-process SDK and local gateway that combine provider-reported usage with versioned list prices and separate four savings ledgers. Live SDK double-runs used a percentile cluster bootstrap with 10,000 resamples. On GSM8K-derived traffic, gpt-4o-mini showed a 31.5% cost reduction (95% CI: 25.7–36.7; 100 families, 200 requests per arm) and claude-sonnet-5 showed 75.1% (95% CI: 69.3–79.6; 31 families, 62 requests per arm). The Anthropic arm included 41 percentage points from a prefix-cache effect enabled by cache_control in the instrumented condition, not a pre-existing provider discount. A separate counterfactual replay of 19,779 gateway requests estimated 2.49% (95% CI: 1.50–3.57); it was not a live double-run or invoice reconciliation. We distinguish measured, reference-valued, and estimated amounts, state quality and latency observations without claiming non-inferiority, and present only provisional economic extrapolations.

Paraules clau: LLM; cost d'inferència; provider-reported usage; memòria cau de prefixos; cluster bootstrap; optimització de prompts.

Resultats

La taula 2 i la figura 2 separen dues dobles execucions live de l'SDK d'un replay contrafactual del gateway. Els imports fan servir l'usage reportat pel proveïdor i tarifes de llista versionades; cap no és un resultat conciliat amb factures.

El 2,49 % del gateway no prové d'un A/B facturat ni d'una doble execució live: és una estimació contrafactual amb baseline parcialment reconstruïda i remostreig per sessió. En el flux Sonnet, la precisió observada va ser de 56/56 a cada braç i les medianes de latència, de 1.969 ms (A) i 2.225 ms (B); aquestes observacions no demostren equivalència ni no-inferioritat. Gemini només aporta comprovacions operatives de no-trencament, sense interval d'estalvi publicable.

Mètode i base de cost

En els experiments live de l'SDK, la condició A sense capa i la B instrumentada fan servir el mateix model i el mateix contingut construït. El cost es calcula a partir de l'usage reportat pel proveïdor i de les tarifes de llista versionades vigents per a l'anàlisi. Això aporta traçabilitat documental als registres d'usage i de preus, no traçabilitat metrològica estricta ni prova de l'import d'una factura. Els preus negociats, els crèdits, els impostos, els arrodoniments i els ajustos posteriors queden fora de l'evidència.

Els intervals live fan servir un bootstrap percentile no paramètric per clúster amb 10.000 remostrejos. La família, no la sol·licitud individual, és la unitat de remostreig: les sol·licituds d'una família es mantenen juntes i l'interval del 95 % pren els percentils empírics 2,5 i 97,5. El gateway, en canvi, remostreja sessions completes. Aquests intervals resumeixen la variabilitat del disseny observat, però no tota la deriva temporal, els canvis de model o de preu ni l'error de reconstrucció contrafactual.

Quatre ledgers i tres bases d'evidència

L'informe d'estalvi de cada petició (SavingsReport) manté quatre ledgers separats per reduir el doble còmput i fer explícita la dependència de cada mecanisme respecte del trànsit i del proveïdor. Els imports no s'han de sumar sense definir l'estimand.

Un import és measured quan el sustenten directament l'usage del proveïdor d'aquella execució i una versió documentada del preu; reference-valued quan un contrafactual fa servir una petició anterior equivalent o idèntica sota condicions explícites; i estimated quan es reconstrueix a partir de logs, càlculs a tarifes de llista o altres supòsits sense aquesta referència directa. Un stream sense usage final és unmeasured. Aquestes etiquetes descriuen la base d'evidència; no converteixen valors de referència o estimacions en estalvis verificats en factura.

Limitacions i treball futur

• Les mostres són petites i fan servir trànsit construït: 100 famílies d'OpenAI i 31 d'Anthropic. El gateway cobreix 51 sessions, 13 dies i una sola organització; no es demostra estabilitat temporal ni generalització a altres models, proveïdors o càrregues de producció.
• L'atribució a Anthropic requereix un disseny factorial deduplicació × cache_control. També calen un escombratge de la taxa de repetició, experiments jeràrquics de diversos dies i proves preregistrades i amb potència suficient de no-inferioritat en qualitat, frescor i latència.
• La memòria cau exacta pot reduir la frescor i la diversitat. No es pot generalitzar a trànsit creatiu, sensible al temps, multiclient o semànticament similar sense nous experiments. El paquet publicat no inclou un compressor general i TOON no s'avalua com a optimització distribuïda.
• El magatzem semàntic de referència és en memòria i fa cerca lineal; la coordinació transaccional entre rèpliques, la consistència i la latència a escala de producció requereixen treball addicional. El routing actual no té evidència de correcció semàntica.
• Els càlculs a tarifes de llista no concilien factures. Els logs privats del gateway, l'absència de rèplica independent i la condició de desenvolupador de l'autor limiten la verificació. Calen rèplica externa, conciliació amb preus negociats i crèdits, i artefactes immutables de remostreig.

A BiVelio Factory

Aquest paper és el producte 01 del moll de sortida de BiVelio Factory, on apareixen les aplicacions, els papers i les empreses que surten de la fàbrica. L'algorisme l'estalvi del qual mesura s'explica a BV-SALA · BiVelio Savings Layer.

Descarregar i citar

Descarregar el paper en PDF (9 pàgines, 444 kB, en anglès). El banc públic amb les proves és a savings.bivelio.com.

Com citar-lo:

Vidal, Adrián (2026). BV-SALA Savings Layer: Verifiable Measurement of Cost Savings in Large Language Model Applications. BiVelio Inc - research.bivelio.com, August 2026. https://bivelio.com/es/research/papers/bv-sala-savings-layer

Per llegir l'algorisme amb més context: BiVelio Savings Layer i l'article BV-SALA: la capa de cost de LLM, per dins.