Étude de cas · Client d’entreprise confidentiel (secteur réglementé)
Comment nous avons remplacé une facture OpenAI de 4,2 k$/mois par un workflow LLM entièrement sur l’appareil avec Ollama, llama.cpp et une couche d’orchestration FastAPI — en conservant 100 % des données clients sur l’ordinateur portable de l’utilisateur tout en offrant des réponses en moins d’une seconde.
Une entreprise cliente d’un secteur réglementé utilisait un LLM hébergé via ses outils internes, mais chaque trimestre son équipe de revue de sécurité signalait le même point bloquant : du texte permettant d’identifier des clients était envoyé vers un point de terminaison cloud américain. Le service juridique avait suspendu le déploiement élargi, la facture OpenAI avait dépassé 4 200 $/mois avec seulement une fraction de la base d’utilisateurs prévue, et l’équipe produit s’était vu poser la question impossible : « peut-on conserver toute cette capacité d’IA sans qu’aucune donnée ne quitte l’ordinateur portable de l’utilisateur ? »
Ils n’avaient pas besoin d’un projet de recherche. Ils avaient besoin d’un workflow livrable qu’un employé interne pouvait installer en un après-midi, qui fonctionnait entièrement sur leurs MacBook série M et ThinkPad Windows existants, et dont les performances étaient assez bonnes pour que personne ne regrette l’amélioration de la confidentialité.
Nous avons conçu et livré une pile LLM entièrement sur l’appareil : Ollama comme moteur d’exécution des modèles, llama.cpp en coulisses pour l’inférence quantifiée GPU/CPU, une petite couche d’orchestration FastAPI pour l’utilisation d’outils et la récupération, et une interface de bureau Next.js livrée via une fine enveloppe Tauri. Chaque octet de contexte reste sur l’appareil. Pas d’inférence distante, pas de rappel de télémétrie, pas de proxy.
Nous avons évalué sept modèles à poids ouverts (Llama 3.1 8B, Qwen 2.5 7B/14B, Phi-3, Mistral et deux variantes spécialisées par domaine) sur les prompts réels du client et livré un routeur de modèles par tâche : un petit modèle rapide pour la classification et le chat, un modèle de raisonnement plus grand à la demande. Le RAG s’exécute sur un index ChromaDB local construit à partir des propres documents de l’utilisateur, chaque embedding étant calculé sur l’appareil.
Le résultat est un workflow mesurablement plus rapide que la version cloud sur le prompt médian (sans aller-retour réseau), qui réussit la revue de sécurité du client dès la première soumission et qui s’étend à chaque ordinateur portable de l’entreprise pour un coût d’inférence nul par poste.
Nous avons collecté un ensemble représentatif d'environ 400 vrais prompts à partir des journaux OpenAI existants (anonymisés), puis comparé des modèles open-weight candidats sur le parc matériel réel du client (MacBook M1, M2 et M3, plus une machine de référence Windows ThinkPad), en mesurant les tokens par seconde, la latence p95 du premier token et la qualité par rapport à la référence GPT-4 à l'aide d'une grille d'évaluation détenue par le client.
Nous avons choisi Ollama comme runtime (cycle de vie propre, gestion des versions de modèles, quantification adaptée au GPU), puis construit une fine couche d’orchestration FastAPI qui oriente chaque tâche vers le bon modèle, gère la recherche dans un index ChromaDB local et expose une API HTTP stable que l’interface de bureau peut appeler. L’ensemble s’exécute sous la forme de trois processus locaux gérés par l’application de bureau.
Le développement s'est déroulé en sprints de deux semaines avec un véritable banc d'évaluation : chaque modification était notée sur un jeu de prompts réservé, de sorte que les régressions de qualité apparaissaient immédiatement. Nous avons ajouté un flux d'ingestion en un clic pour les propres documents de l'utilisateur, un canal de mise à jour du modèle qui respecte la politique réseau de l'utilisateur et un panneau de confidentialité qui montre exactement à quoi le modèle a accès.
Nous avons packagé la pile sous forme d'installateur signé (notarisé sur macOS, signé sur Windows), rédigé un court modèle de menaces que l'équipe sécurité pouvait lire en 20 minutes, et déployé auprès de 25 utilisateurs pilotes avant le déploiement à l'échelle de l'entreprise. La revue de sécurité a été validée dès la première soumission ; la fonctionnalité décisive était une liste d'autorisation réseau vérifiable qui prouve qu'aucun trafic LLM ne quitte jamais l'appareil.
“Nous pensions que l'IA privée signifiait un produit moins bon. La solution conçue par UnlockLive est plus rapide que la version cloud pour la plupart de ce que fait notre équipe, et notre revue de sécurité a pris 20 minutes au lieu de trois mois.”
Pour la plupart des tâches d'entreprise (classification, synthèse, RAG sur les documents de l'utilisateur, extraction structurée), oui : un modèle open-weight bien choisi, de 7B à 14B, égale ou dépasse GPT-3.5 et se situe à 10-15 % de GPT-4 en qualité. L'astuce est une évaluation honnête : nous notons toujours les modèles candidats sur les vrais prompts du client, pas sur des benchmarks génériques.
Nous retenons par défaut Llama 3.1 8B pour le chat généraliste et Qwen 2.5 14B pour les tâches de raisonnement intensif, avec Phi-3 mini pour la classification ultra-rapide. Le choix final dépend du matériel de l'utilisateur (les Mac M2/M3 gèrent confortablement le 14B ; les anciens portables Intel s'en sortent mieux avec du 7B quantifié) et du mix de charges de travail.
Ollama lui-même dispose d'une licence permissive, d'un cycle de vie des modèles stable, d'une quantification adaptée au GPU et d'une API HTTP propre. Nous l'associons à une fine couche d'orchestration FastAPI que nous maîtrisons, à un installateur signé et notarisé, et à une liste d'autorisation réseau vérifiable : cette combinaison a passé plusieurs revues de sécurité en entreprise dès la première soumission.
Nous livrons avec le déploiement un banc d’évaluation par tenant. Chaque mise à niveau de modèle est notée sur un jeu de prompts réservé dont le client est propriétaire, et n’est promue que si elle atteint un seuil de qualité. Les mises à jour de modèles sont déployées via un canal canari que l’utilisateur contrôle.
Le seuil de rentabilité se situe généralement entre 6 et 9 mois. Le développement est un coût d’ingénierie unique (8 à 14 semaines pour un flux de travail ciblé), après quoi le coût d’inférence par utilisateur tombe à zéro. Les API hébergées l’emportent pour les usages irréguliers et à faible volume ; le traitement sur l’appareil l’emporte pour les outils d’entreprise utilisés quotidiennement.
IA / SaaS70% Des tickets résolus sans intervention humaineUne plateforme de service client IA qui traite 70 % des tickets entrants sans intervention humaine, puis oriente le reste vers le bon agent avec tout le contexte joint.
SaaS8x Baisse de la latence p95 sur les points d'accès les plus sollicités (1,8 s → 220 ms)Comment nous avons repensé l’architecture d’une API Python/FastAPI très sollicitée avec une couche de cache Redis à plusieurs niveaux pour faire passer la latence p95 de 1,8 s à 220 ms tout en réduisant de 70 % la charge de PostgreSQL pour un SaaS B2B nord-américain.
Parlez à l'équipe qui a construit Déploiement privé de LLM sur l'appareil pour une entreprise sensible à la confidentialité (Ollama + llama.cpp). Nous définirons le périmètre de votre projet, vous remettrons une proposition à prix fixe et vous présenterons l'exemple le plus proche de notre portfolio.
Réserver un appel stratégiqueUnlockLive IT Limited : siège de Toronto en contact avec les clients et gestion de projet ; centre d’ingénierie dédié à Dhaka, au Bangladesh. Société enregistrée au Royaume-Uni n° 15563368 (UnlockLive IT Limited, Londres).
Copyright© UnlockLive .Tous droits réservés 2008 - 2026