vLLM : servir un LLM open source à toute l'entreprise, rapidement et en local

Faire tourner un modèle d'IA pour une personne, c'est facile. Le faire tourner pour cinquante collaborateurs qui l'interrogent en même temps, avec des temps de réponse corrects, c'est une autre affaire. C'est précisément le problème que résout vLLM, le moteur open source devenu la référence pour servir des grands modèles de langage (LLM) en production.

Ce guide explique ce qu'est vLLM, pourquoi il est si efficace, comment le déployer, et dans quels cas il vaut mieux lui préférer un outil plus simple comme Ollama.

vLLM, c'est quoi ?

vLLM est un moteur d'inférence open source (licence Apache 2.0), né à l'université de Berkeley. Son rôle : charger un modèle d'IA sur un serveur équipé de cartes graphiques, et répondre aux requêtes de nombreux utilisateurs ou applications le plus efficacement possible.

Il ne fournit pas d'interface de conversation : c'est une brique serveur. Les utilisateurs passent par une interface comme Open WebUI, et les applications par son API.

Pourquoi vLLM tient la charge

Deux innovations font sa réputation.

PagedAttention. Pendant qu'il génère une réponse, un modèle garde en mémoire des informations sur le texte déjà traité. Les moteurs classiques réservent cette mémoire de façon rigide, ce qui en gaspille une grande partie. vLLM la gère par petits blocs, un peu comme la mémoire d'un système d'exploitation. Résultat : beaucoup plus de requêtes tiennent en même temps dans la mémoire de la carte graphique.

Le traitement par lots en continu. Au lieu de traiter les requêtes les unes après les autres, ou par groupes figés, vLLM intègre les nouvelles requêtes au fil de l'eau dans le calcul en cours. La carte graphique travaille en permanence à plein régime.

Concrètement, sur un même matériel, vLLM peut servir nettement plus d'utilisateurs simultanés qu'un moteur pensé d'abord pour la simplicité. Et le matériel GPU étant la partie la plus coûteuse d'une IA locale, mieux l'utiliser change directement l'équation économique.

Les autres atouts de vLLM

• Une API compatible OpenAI : les applications et outils conçus pour ChatGPT peuvent être redirigés vers vLLM en changeant l'adresse du serveur. Idéal pour brancher des automatisations ou des agents IA.
• Un large catalogue de modèles : la plupart des modèles open source publiés sur Hugging Face (Mistral, Llama, Qwen, Gemma…) sont pris en charge.
• La répartition sur plusieurs cartes graphiques : un modèle trop gros pour une seule carte peut être découpé sur plusieurs.
• Les modèles compressés : plusieurs formats de quantification sont supportés pour réduire la mémoire nécessaire.
• Le streaming : les réponses s'affichent au fur et à mesure, comme dans ChatGPT.

vLLM ou Ollama ?

Les deux outils ne s'opposent pas : on commence très souvent avec Ollama pour tester et valider les usages, puis on passe à vLLM quand le nombre d'utilisateurs augmente. Notre comparatif LM Studio vs Ollama détaille ce parcours type.

Déployer vLLM

vLLM fonctionne principalement sous Linux, avec des cartes graphiques NVIDIA (d'autres matériels sont pris en charge, avec plus ou moins de maturité). Deux méthodes courantes :

• L'installation Python, puis le lancement d'un serveur avec une commande du type vllm serve suivie du nom du modèle.
• L'image Docker officielle, plus propre en production : elle embarque toutes les dépendances et facilite les mises à jour.

Les réglages importants portent sur la part de mémoire graphique allouée, la longueur maximale des textes traités, le nombre de cartes utilisées et le format du modèle. Ce sont eux qui déterminent le nombre d'utilisateurs que le serveur pourra servir confortablement. Le choix du matériel lui-même est détaillé dans notre guide serveur IA : matériel et budget.

Ce qu'il faut prévoir en production

• Sécuriser l'API : vLLM doit être placé derrière un proxy avec authentification, et jamais exposé directement sur internet.
• Superviser : vLLM expose des métriques (requêtes en cours, temps de réponse, utilisation de la mémoire) à brancher sur un outil de supervision.
• Tester la charge : simuler le nombre d'utilisateurs attendus avant l'ouverture, pour ajuster les réglages.
• Organiser les mises à jour : vLLM et les modèles évoluent vite ; une procédure de mise à jour testée évite les mauvaises surprises.
• Prévoir l'interface : Open WebUI pour les utilisateurs, et une passerelle pour les applications et automatisations.

Conclusion

vLLM est le moteur qui permet de passer d'une IA locale « de démonstration » à un vrai service utilisé par toute l'entreprise. Grâce à sa gestion optimisée de la mémoire et au traitement continu des requêtes, il tire le maximum de cartes graphiques coûteuses, et son API compatible OpenAI le rend facile à intégrer. Il demande en revanche plus de compétences techniques qu'Ollama : c'est l'outil de la mise à l'échelle, pas celui des premiers tests.

Chez Automato, nous concevons et déployons des infrastructures d'IA locale pour les entreprises, d'Ollama pour démarrer jusqu'à vLLM pour servir toutes vos équipes : dimensionnement, installation sécurisée, supervision et interface utilisateur. Vous préparez un déploiement à plus grande échelle ? Échangeons sur votre projet.