Faire tourner un modèle en local : quantization et inférence on-device

Exécuter un modèle de langage en local — sans serveur, sans qu’aucune donnée ne sorte — est la garantie ultime de confidentialité. Mais un LLM est énorme. La technique qui rend cela possible s’appelle la quantization.

Le problème de la taille

Un modèle stocke des milliards de paramètres, classiquement en nombres flottants 16 bits (FP16). Un modèle de 7 milliards de paramètres pèse alors ~14 Go — trop pour la plupart des appareils.

La quantization

L’idée : représenter chaque paramètre avec moins de bits. On passe de 16 bits à 8, 4, voire moins :

• FP16 : ~14 Go, qualité de référence.
• INT8 : ~7 Go, perte minime.
• INT4 : ~3,5 Go, léger, qualité encore très correcte.

On échange un peu de précision contre une division par 2, 4 ou plus de la mémoire et un net gain de vitesse.

Les formats et outils

Des formats comme GGUF et des moteurs d’inférence optimisés (llama.cpp, Ollama) rendent ces modèles quantizés exécutables sur du matériel grand public, CPU comme GPU intégré.

Le compromis à arbitrer

Plus on quantize, plus c’est léger et rapide — mais la qualité finit par se dégrader. Le bon réglage dépend de l’appareil et de l’usage : un INT4 d’un modèle bien choisi suffit souvent pour un compagnon réactif et 100 % privé.

Pourquoi ça compte

La quantization n’est pas qu’une optimisation : c’est ce qui démocratise l’IA privée. Faire tourner l’intelligence là où vivent les données — sur ton appareil — devient possible, et change la donne pour la vie privée.