Exécuter des modèles de langage en local permet d'expérimenter l'IA sans budget cloud ni fuite de données. L'écosystème open source est devenu très accessible.
On montre qu'un atelier LLM est possible sur une machine ordinaire, avec de petits modèles ouverts.
Points clés
- Ollama — Lance des LLM en local en une commande : le plus simple pour démarrer.
- llama.cpp — Moteur d'inférence optimisé, tourne même sur CPU.
- LM Studio — Interface graphique pour télécharger et discuter avec des modèles locaux.
- Jan — Application de bureau open source pour des LLM hors-ligne.
Les outils à connaître
Voici une sélection d'outils open source de référence, à mettre entre les mains des apprenants. Tous sont gratuits et reproductibles en autonomie.
- Ollama — Lance des LLM en local en une commande : le plus simple pour démarrer.
- llama.cpp — Moteur d'inférence optimisé, tourne même sur CPU.
- LM Studio — Interface graphique pour télécharger et discuter avec des modèles locaux.
- Jan — Application de bureau open source pour des LLM hors-ligne.
- vLLM — Serveur d'inférence performant pour passer à l'échelle (GPU).
- Open WebUI — Interface web type ChatGPT branchée sur Ollama.
En pratique
Scénario. Installez Ollama, téléchargez un petit modèle, puis branchez Open WebUI pour une interface conviviale. Ajoutez un mini-projet RAG sur quelques PDF : les apprenants découvrent prompt, RAG et limites des LLM, sans budget cloud.
Questions fréquentes
Faut-il un GPU ?
Pas pour débuter : de petits modèles tournent sur CPU via Ollama ou llama.cpp. Un GPU accélère et permet de plus gros modèles.
Pourquoi en local plutôt qu'une API ?
Coût nul, données qui ne sortent pas de la machine (RGPD) et liberté d'expérimenter — parfait en pédagogie.
Pour aller plus loin
Pour approfondir : Outils d analyse reseau · Outils d observabilite moderne. Et l'annuaire d'outils pour les fiches détaillées, outil par outil.
Besoin d'un formateur expert ou envie de transmettre ?
tonformateur connecte les écoles et organismes de formation avec des intervenants experts du terrain.
Voir les cours à pourvoir Explorer l'annuaire d'outils →