Caleta: An Evidence-Oriented Trust Layer for Reproducible Local Large Language Model Inference

Synthèse

Exécuter un modèle en local ne répond pas à lui seul à plusieurs questions opérationnelles : quels octets ont été exécutés, quel backend et quelles options étaient actifs, quelles interfaces étaient exposées, ce qui a été mesuré et quelles exécutions ont échoué. Caleta traite cette couche autour du moteur : il enveloppe le llama-server de llama.cpp dans une petite frontière de confiance et produit des preuves versionnées.

Le travail distingue l'intégrité (un SHA-256 qui correspond) de la provenance authentifiée (qui a publié cette valeur), et les contrôles de confidentialité de l'isolation par le système d'exploitation. Il ne rapporte que les tests réellement exécutés.

Résumé original (en anglais)

Local large language model (LLM) inference is often described as private, verified, or reproducible without separating the technical claims behind those terms. This paper presents Caleta, an Apache-2.0 process supervisor and evidence layer around llama.cpp rather than a new inference engine. Caleta combines versioned manifests, exact-size and SHA-256 verification, controlled backend construction, a restricted OpenAI-compatible proxy, prompt-free execution records, benchmark reports, and a small conformance suite. Its contribution is the composition of these mechanisms into explicit contracts that distinguish integrity from authenticated provenance and privacy controls from operating-system isolation. We evaluate the implementation through static checks, fifteen unit tests, deterministic end-to-end tests on Ubuntu, macOS, and Windows, and a pinned real-model experiment on Windows CPU using Qwen2.5-0.5B-Instruct Q4_K_M and llama.cpp b11981. The real experiment validates artifact verification, startup, model listing, non-streaming and server-sent-event chat, and conformance. Three independent benchmark invocations produced fifteen successful warm requests with no failures. In this single configuration, median time to first token was 18.066 ms and median decode throughput was 54.394 tokens/s. These descriptive measurements do not establish cross-engine superiority, output quality, energy efficiency, or hardware-general performance. Raw JSON, commands, and environment metadata are published. Remaining challenges include signed manifests, time-of-check/time-of-use replacement, operating-system containment, proxy-overhead measurement, and broader experimental matrices.

Mots-clés: local inference; large language models; reproducibility; software supply chain; privacy engineering; benchmarking; provenance; llama.cpp.

Comment ça fonctionne

• Vérifier avant d'exécuter : la taille exacte et le SHA-256 de chaque artefact face à un manifeste versionné ; s'il manque quelque chose ou si rien ne correspond, il ne démarre pas.
• Superviser le backend en loopback et ne laisser passer que la santé, la liste des modèles et les chat completions par un proxy restreint compatible avec l'API d'OpenAI, avec un identifiant interne aléatoire à chaque lancement.
• Journaliser sans prompts : la configuration et les mesures sont conservées, pas le corps des requêtes ni des réponses ; les benchmarks gardent l'empreinte SHA-256 et la longueur du prompt.
• Mesurer avec méthode : le démarrage à froid est séparé des requêtes à chaud, les échecs bruts sont conservés et une mesure indisponible n'est jamais transformée en zéro.

Résultats

Outre les vérifications statiques et quinze tests unitaires, les tests déterministes de bout en bout ont réussi sous Ubuntu, macOS et Windows. L'expérience avec un modèle réel a utilisé Qwen2.5-0.5B-Instruct Q4_K_M et llama.cpp b11981 sur un Intel i7-7700K en CPU avec quatre threads :

Limites

• Une seule configuration réelle (Windows sur CPU) : aucune exécution avec un modèle réel sous macOS ni Linux.
• Les manifestes ne sont pas signés et les journaux d'exécution ne sont pas des attestations ; le remplacement entre la vérification et l'utilisation reste ouvert.
• Aucun confinement par le système d'exploitation : le mode hors ligne du backend n'est pas un pare-feu, et loopback n'isole pas des autres processus locaux.
• Il ne mesure ni le surcoût du proxy, ni l'énergie, ni la mémoire, ni la température, ni la qualité des réponses.

Lire et citer

Le lien officiel est le DOI de Zenodo, 10.5281/zenodo.23763881, où l'on peut consulter et télécharger le PDF et les artefacts de l'expérience (manifeste, commandes, environnement et rapports JSON bruts). La version précédente reste archivée sous 10.5281/zenodo.23761755. Le code de référence est sur github.com/BiVelio/caleta.

Comment la citer :

Fisa, Joan-Marc (2026). Caleta: An Evidence-Oriented Trust Layer for Reproducible Local Large Language Model Inference. Technical preprint, BiVelio Inc. CC BY 4.0. https://doi.org/10.5281/zenodo.23763881

Manuscrit © 2026 BiVelio Inc, sous licence CC BY 4.0 : l'attribution doit identifier Joan-Marc Fisa comme auteur et BiVelio Inc comme titulaire des droits. Le logiciel de référence, Caleta v0.1.0, est sous licence Apache-2.0.