Caleta: An Evidence-Oriented Trust Layer for Reproducible Local Large Language Model Inference
Caleta és un supervisor de processos i una capa d'evidència, amb llicència Apache-2.0, al voltant de llama.cpp; no és un motor d'inferència nou. Fa explícits quins bytes s'han executat, amb quina configuració, quines interfícies han quedat exposades i com s'ha mesurat, sense desar els prompts. Preprint tècnic sense revisió per parells, en anglès.
Preprint tècnic sense revisió per parells
Les mesures són descriptives i d'una sola configuració (un equip Windows amb CPU). No demostren superioritat davant d'altres motors, qualitat de les respostes, eficiència energètica ni rendiment en un altre maquinari.
Resum
Executar un model en local no respon per si sol a diverses preguntes operatives: quins bytes s'han executat, quin backend i quines opcions eren actives, quines interfícies han quedat exposades, què s'ha mesurat i quines execucions han fallat. Caleta s'ocupa d'aquesta capa al voltant del motor: embolcalla el llama-server de llama.cpp amb una frontera de confiança petita i emet evidència versionada.
El treball distingeix la integritat (un SHA-256 que coincideix) de la procedència autenticada (qui ha publicat aquest valor), i els controls de privadesa de l'aïllament del sistema operatiu. Només informa de les proves que s'han executat de debò.
Abstract (original, en anglès)
Local large language model (LLM) inference is often described as private, verified, or reproducible without separating the technical claims behind those terms. This paper presents Caleta, an Apache-2.0 process supervisor and evidence layer around llama.cpp rather than a new inference engine. Caleta combines versioned manifests, exact-size and SHA-256 verification, controlled backend construction, a restricted OpenAI-compatible proxy, prompt-free execution records, benchmark reports, and a small conformance suite. Its contribution is the composition of these mechanisms into explicit contracts that distinguish integrity from authenticated provenance and privacy controls from operating-system isolation. We evaluate the implementation through static checks, fifteen unit tests, deterministic end-to-end tests on Ubuntu, macOS, and Windows, and a pinned real-model experiment on Windows CPU using Qwen2.5-0.5B-Instruct Q4_K_M and llama.cpp b11981. The real experiment validates artifact verification, startup, model listing, non-streaming and server-sent-event chat, and conformance. Three independent benchmark invocations produced fifteen successful warm requests with no failures. In this single configuration, median time to first token was 18.066 ms and median decode throughput was 54.394 tokens/s. These descriptive measurements do not establish cross-engine superiority, output quality, energy efficiency, or hardware-general performance. Raw JSON, commands, and environment metadata are published. Remaining challenges include signed manifests, time-of-check/time-of-use replacement, operating-system containment, proxy-overhead measurement, and broader experimental matrices.
Paraules clau: local inference; large language models; reproducibility; software supply chain; privacy engineering; benchmarking; provenance; llama.cpp.
Com funciona
- Verifica abans d'executar: la mida exacta i el SHA-256 de cada artefacte contra un manifest versionat; si falta alguna cosa o no coincideix, no arrenca.
- Supervisa el backend en loopback i només deixa passar salut, llista de models i chat completions per un proxy restringit compatible amb l'API d'OpenAI, amb una credencial interna aleatòria per arrencada.
- Registra l'execució sense prompts: desa la configuració i les mesures, no els cossos de les peticions ni de les respostes; els benchmarks desen el resum SHA-256 i la longitud del prompt.
- Mesura amb mètode: separa l'arrencada en fred de les peticions en calent, conserva les fallades en brut i no converteix en zero una mesura que no existeix.
Resultats
A més de les comprovacions estàtiques i quinze proves unitàries, les proves deterministes d'extrem a extrem van passar a Ubuntu, macOS i Windows. L'experiment amb un model real va fer servir Qwen2.5-0.5B-Instruct Q4_K_M i llama.cpp b11981 en un Intel i7-7700K amb CPU i quatre fils:
| Mètrica | Valor observat | Abast |
|---|---|---|
| Arrencades en fred independents | 3 | Una per invocació del benchmark |
| Peticions en calent mesurades | 15 | Cinc per invocació; cap fallada |
| Arrencada en fred, mediana | 835,371 ms | Rang 660,720–977,129 ms |
| Temps fins al primer token, mediana | 18,066 ms | Rang 14,574–28,004 ms |
| Descodificació, mediana | 54,394 tokens/s | Rang 49,028–68,138 tokens/s |
Límits
- Una sola configuració real (Windows amb CPU): cap execució amb model real a macOS ni Linux.
- Els manifestos no estan signats i els registres d'execució no són atestacions; queda oberta la substitució entre la comprovació i l'ús.
- No hi ha contenció del sistema operatiu: el mode sense connexió del backend no és un tallafoc, i loopback no aïlla d'altres processos locals.
- No mesura la sobrecàrrega del proxy, l'energia, la memòria, la temperatura ni la qualitat de les respostes.
Llegir i citar
L'enllaç oficial és el DOI de Zenodo, 10.5281/zenodo.23763881, on es poden veure i descarregar el PDF i els artefactes de l'experiment (manifest, ordres, entorn i informes JSON en brut). La versió anterior continua arxivada a 10.5281/zenodo.23761755. El codi de referència és a github.com/BiVelio/caleta.
Com citar-lo:
Fisa, Joan-Marc (2026). Caleta: An Evidence-Oriented Trust Layer for Reproducible Local Large Language Model Inference. Technical preprint, BiVelio Inc. CC BY 4.0. https://doi.org/10.5281/zenodo.23763881
Manuscrit © 2026 BiVelio Inc, amb llicència CC BY 4.0: l'atribució ha d'identificar Joan-Marc Fisa com a autor i BiVelio Inc com a titular. El programari de referència, Caleta v0.1.0, té llicència Apache-2.0.
- #preprint
- #inferencia-local
- #reproductibilitat
- #llm
- #procedencia