BV-SALA · En production

BiVelio Savings Layer

Dépensez moins à chaque appel d'IA.

Qu'est-ce que c'est

BV-SALA se place entre votre application et l'API d'IA. Avant que votre prompt ne parte, elle applique une série d'optimisations et de modifications —compression, réécriture et réduction du contexte redondant— afin que la même tâche consomme moins de tokens et coûte donc moins cher.

Couverture de BV-SALA Savings Layer, « Verifiable Measurement of Cost Savings in Large Language Model Applications » : un instrument de mesure en verre au-dessus de deux voies de données. — Fig. 1 — Dépensez moins à chaque appel d'IA.

Comment ça fonctionne

1
Reçoit votre prompt et le contexte que vous alliez envoyer.
2
Applique des optimisations : elle élimine la redondance, compresse et réécrit en préservant l'intention.
3
Envoie la version minimale suffisante à l'API que vous utilisez déjà.
4
Vous renvoie la réponse ainsi que les métriques de ce qui a été économisé.

Fig. 2 — Une couche qui optimise et réécrit votre prompt avant de l'envoyer à l'API, afin de réduire le coût par appel.

Le paper, en détail

§1 Le problème, formalisé

Le fournisseur facture une fonction essentiellement linéaire en tokens, comptés avec son propre tokenizer. BV-SALA choisit π* = argmin E[C(π(x))] sous le contrat de qualité Q ≥ τ. La difficulté intrinsèque : Q n’est pas observable avant l’exécution — chaque transformation porte donc sa propre garde, ne s’applique que là où l’évidence accumulée indique que l’intention est préservée, et dans le doute la requête voyage intacte.

C(x) \;=\; c_{\text{in}} \cdot T_{\text{in}}(x) \;+\; c_{\text{out}} \cdot T_{\text{out}}(x)

(1)

\pi^{*} \;=\; \operatorname*{arg\,min}_{\pi \,\in\, \Pi} \; \mathbb{E}\big[\, C(\pi(x)) \,\big] \qquad \text{s.t.} \qquad Q(\pi(x)) \,\ge\, \tau

(2)

§2 Trois registres qui ne s’additionnent pas

Chaque requête optimisée est attribuée à exactement un registre selon le mécanisme dominant : éviter l'appel, retirer l'inutile ou compresser le reste. Chaque chiffre parle sur son propre dénominateur — les agréger compterait le même euro deux fois — et un registre qui ne dépasse pas zéro face aux deux bras de contrôle est publié quand même, avec son étiquette, mais jamais annoncé.

S_{\ell} \;=\; 1 \;-\; \frac{\sum_{x \in R_{\ell}} C\big(\pi^{*}(x)\big)}{\sum_{x \in R_{\ell}} C(x)}

(3)

§3 Mesure : le plancher de l’intervalle

Même modèle en deux bras de contrôle — face à une intégration non optimisée et face à la même intégration déjà optimisée à la main — et coût coté au compteur du fournisseur, sans baseline modélisée. Les scénarios sont agrégés par un bootstrap stratifié, poids un par scénario, et nous publions la borne inférieure unilatérale de l'IC à 95 %, jamais l'estimation ponctuelle. D'où le chiffre annoncé : ≥ 20,0 % de facture en moins sur gpt-4o-mini, en dessous de ce que dégage le plus exigeant des deux contrôles.

S_{\text{pub}} \;=\; \hat{S} \;-\; z_{0.95}\,\widehat{\operatorname{se}}\big(\hat{S}\big)

(4)

§4 Comptabilité nette et cache honnête

Analyser chaque requête consomme aussi : toute la comptabilité est nette et l’économie publiée déduit le coût de la couche elle-même. Et un cache ne compte que si la réponse réutilisée reste valide : les clés incorporent modèle, version, outils visibles et contexte effectif — à la moindre différence, on appelle.

S_{\text{net}} \;=\; 1 \;-\; \frac{C\big(\pi^{*}(x)\big) + C_{\text{layer}}(x)}{C(x)}

(5)

k_{\text{cache}} \;=\; H\big(\text{model} \,\Vert\, \text{version} \,\Vert\, \text{tools} \,\Vert\, \text{context}\big)

(6)

La publication

BV-SALA a sa propre publication (août 2026) : comment l’économie est mesurée avec le compteur de facturation du fournisseur lui-même, chaque scénario étant exécuté deux fois et chaque chiffre accompagné de son intervalle de confiance à 95 %. En anglais, avec un résumé des conclusions en espagnol ; 9 pages.

Lire la publication Télécharger le PDF

Fabriqué chez BiVelio Factory

La publication sur BV-SALA est le produit 01 du quai de sortie de BiVelio Factory, où figurent les applications, les publications et les entreprises qui sortent de l’usine.

Voir sur BiVelio Factory

Ce que ça apporte

Moins de tokens envoyés pour la même tâche.
Fonctionne avec les API que vous utilisez déjà, sans changer de fournisseur.
Métriques d'économie visibles à chaque appel.

État

Parfaitement industrialisé comme produit indépendant : savings.bivelio.com — SDK sous licence sur npm et économies mesurées contre le compteur du fournisseur lui-même, avec leur intervalle de confiance affiché à côté.

Les chiffres que nous publions sont mesurés, pas estimés — jamais des projections. Toute notre recherche s'exécute en s'appuyant sur l'inférence et le matériel NVIDIA.

Lire l’article complet Tous les algorithmes