Ollama en entreprise : des modèles IA en local, sans API externe
Ollama permet de faire tourner un modèle de langage sur un poste de travail ou un serveur de l'entreprise, sans qu'aucune donnée ne sorte. Je l'installe pour des prototypes, des assistants documentaires confidentiels et des agents IA locaux, et je vous dis clairement à partir de quel volume il faut passer à vLLM.
Mehdi Challakh, ingénieur IA freelance. Aucun partenariat éditeur : les outils sont choisis sur vos contraintes, et jugés sur ce qui tourne en production. Licence et hébergement
Ollama est gratuit et open source (licence MIT). Le coût réel est celui du matériel : une carte graphique grand public de 16 à 24 Go de mémoire vidéo suffit pour des modèles de taille petite à moyenne quantifiés ; les modèles plus grands demandent un GPU professionnel ou plusieurs cartes, en achat ou en location mensuelle chez un hébergeur. Les modèles eux-mêmes sont sous des licences ouvertes variées (Apache 2.0, licences communautaires avec conditions), à vérifier modèle par modèle avant un usage commercial.
Ollama, c'est quoi ?
Ollama est un logiciel open source qui télécharge, installe et exécute des modèles de langage à poids ouverts (Mistral, Llama, Gemma, Qwen, DeepSeek et bien d'autres) sur une machine locale : un ordinateur portable, un poste fixe avec carte graphique ou un serveur Linux. Une commande suffit pour lancer un modèle, et il expose une API HTTP compatible avec celle d'OpenAI : une application écrite pour GPT peut être pointée vers Ollama en changeant une adresse, et le modèle répond depuis votre réseau. Les modèles sont compressés (quantifiés) pour tenir dans la mémoire d'une carte graphique grand public, ce qui explique sa popularité auprès des développeurs.
En entreprise, Ollama est l'outil du premier pas vers une IA locale : il permet de tester un modèle ouvert sur des données réelles sans contrat avec un fournisseur d'API, de construire un prototype d'assistant documentaire (Ollama RAG) ou d'agent IA local en quelques jours, et de répondre aux services qui refusent toute API externe. Je l'utilise à ce stade, puis je mesure. Si les volumes et le nombre d'utilisateurs simultanés restent faibles, il reste en place. Sinon, le même modèle passe sur vLLM, un serveur d'inférence conçu pour la production, sans réécrire l'application.
Quand utiliser Ollama, et quand s'en passer
Quand Ollama est le bon choix
Prototypes et preuves de concept : tester trois modèles ouverts sur vos documents en une semaine, sans budget API ni contrat de sous-traitance. Confidentialité stricte : cabinet juridique, service RH, données de santé, R&D industrielle, où le fait que le modèle tourne sur une machine identifiée, sans connexion sortante, règle la question de la conformité. Petits volumes : un service de dix personnes qui interroge une base documentaire quelques centaines de fois par jour. Dans ces trois cas, Ollama fait le travail avec un matériel modeste.
Ses limites face à vLLM
Ollama est conçu pour un utilisateur ou quelques-uns à la fois. Quand plusieurs dizaines de personnes interrogent le modèle en même temps, ou qu'un traitement par lots doit passer des milliers de documents, le débit chute et les temps de réponse s'allongent. vLLM traite les requêtes en parallèle (batching continu) et exploite bien mieux la mémoire du GPU (carte graphique de calcul) : sur le même matériel, il sert souvent plusieurs fois plus de requêtes par seconde. Ollama n'a pas non plus les fonctions d'exploitation d'un serveur de production : quotas par application, métriques détaillées, répartition sur plusieurs GPU.
Ollama pour un RAG confidentiel
Un assistant documentaire local associe Ollama pour le modèle de génération et pour les embeddings (représentations vectorielles du texte), une base vectorielle comme Qdrant, et une couche de retrieval (recherche des passages pertinents). Tout tourne sur un serveur interne. La qualité dépend surtout du découpage des documents, de la stratégie de recherche et de l'évaluation, beaucoup plus que du choix entre Ollama et une API. C'est ce que je mesure en premier, avec un jeu de test construit à partir de vos questions réelles.
Quand il faut autre chose
Si le cas d'usage exige le niveau des meilleurs modèles propriétaires (raisonnement long, agent très autonome, code complexe), un modèle ouvert quantifié sur un GPU grand public ne suffira pas, quel que soit le serveur. Il faut alors un modèle ouvert de grande taille sur un GPU professionnel avec vLLM, ou une API externe cantonnée aux données qui peuvent sortir. Ce point se tranche par un benchmark (comparatif mesuré), avant tout achat de matériel.
Ce que je livre avec Ollama
Installation d'Ollama sur un serveur
Installer Ollama sur un serveur Linux de l'entreprise ou chez un hébergeur français : choix des modèles, quantification adaptée à la carte graphique, service systemd, accès réseau restreint, authentification devant l'API, sauvegarde des modèles. Livré avec la documentation d'exploitation pour votre équipe informatique.
Développement IA sur mesureChoix du matériel GPU
Dimensionner la machine à partir de vos volumes réels : taille du modèle cible, mémoire vidéo nécessaire, nombre d'utilisateurs simultanés, budget. Une station de travail avec une carte grand public suffit souvent pour un service ; un GPU professionnel devient nécessaire au-delà. Recommandation chiffrée remise avant tout achat.
Audit IAAssistant documentaire local (Ollama RAG)
Un assistant qui répond à partir de vos documents internes, entièrement hébergé chez vous : Ollama pour le modèle, Qdrant pour la recherche, interface web ou intégration dans vos outils. Sources citées, taux de bonnes réponses mesuré sur un jeu de test avant mise en service.
Assistant IA documentaire (RAG)Agent IA local
Un agent IA local (local AI agent) qui exécute une tâche métier avec un modèle Ollama et des outils internes : lecture d'un dossier, mise à jour d'une fiche, préparation d'un courrier. Aucune donnée ne sort du réseau. Périmètre volontairement limité au départ, avec journalisation de chaque action.
Agent IA pour entrepriseAutomatisations locales avec n8n
Relier Ollama à n8n auto-hébergé pour des automatisations internes : tri de courriels, extraction de champs dans des pièces jointes, résumés de comptes rendus, sans qu'aucun contenu ne parte vers une API externe. Mise en place, tests et transfert à votre équipe.
Automatisation IA des processusPassage d'Ollama à vLLM
Votre prototype Ollama a convaincu et la charge monte. Je migre le même modèle vers vLLM, avec la même API compatible OpenAI, sur un GPU dimensionné pour la production, avec supervision, quotas et tests de charge. L'application ne change pas, seule l'adresse du serveur change.
Développement IA sur mesureUn projet avec Ollama ?
Vingt minutes suffisent pour savoir si c'est faisable, par où commencer et à quel ordre de grandeur s'attendre.
Ils m'ont confié leur système IA
Questions fréquentes sur Ollama
Combien coûte la mise en place d'Ollama dans une entreprise ?
Ollama est-il vraiment confidentiel ?
Ollama ou vLLM : lequel choisir pour un serveur d'entreprise ?
Quel matériel faut-il pour installer Ollama sur un serveur ?
Freelance ou agence IA pour un projet d'IA locale ?
En combien de temps un assistant local Ollama est-il opérationnel ?
Quelles alternatives à Ollama ?
Pour aller plus loin
Un projet avec Ollama ? Parlons-en 20 minutes.
Vous décrivez votre situation, je vous dis ce qui est faisable, par où commencer et avec quels ordres de grandeur. Si une autre approche ou un autre prestataire convient mieux, je vous le dis aussi.
Réserver un appel de 20 minutesSans engagement. Créneau à choisir directement dans l'agenda.