IA locale en mode dégradé : ce que j’en fais vraiment au quotidien

Après mon article sur mes 4 IA locales qui travaillent à la chaîne, on m’a posé une question simple : « Sur 4 Go de VRAM, je ne m’attendais pas à ce que ça tourne avec 4 modèles à la chaîne. Tu t’en sers pour quoi au quotidien en mode dégradé ? »

Bonne question. Et la réponse honnête risque d’en décevoir certains : la chaîne complète, je la lance rarement. Au quotidien, j’utilise surtout un modèle à la fois, pour des petites tâches bien cadrées. Voici ce que j’en fais vraiment, et ce que je ne leur demande plus.

D’abord, une précision sur les « 4 modèles à la chaîne »

Sur 4 Go de VRAM, les modèles ne tournent pas en même temps. Ils passent l’un après l’autre : chacun est chargé, fait son travail, puis libère la carte grâce à keep_alive: 0. C’est pour ça que ça passe, et c’est aussi pour ça que c’est lent : près de 7 minutes pour un texte de 1000 mots.

Du coup, je réserve la chaîne complète (plan, rédaction, relecture, finalisation) à deux cas :

  • Restructurer un long brouillon que j’ai déjà écrit : je lance, je vais me faire un café, je relis le résultat.
  • Préparer une page FAQ à partir de mes notes : Qwen fait le plan, Gemma rédige, Phi-4 relève les réponses floues.

Pour tout le reste, j’appelle directement le bon modèle. C’est plus rapide, et la plupart de mes tâches n’ont pas besoin de trois avis.

Une chose à savoir avant la suite : toutes ces tâches peuvent demander une vérification. Un petit modèle se trompe, parfois avec beaucoup d’assurance. Je relis toujours ce qu’il me rend avant de m’en servir.

1. Coder sans connexion

C’est mon usage numéro un, et de loin. Dans VS Code, l’extension Continue tourne en permanence avec Qwen 2.5 Coder 3B pour l’autocomplétion. Sans Internet, je ne vois presque pas la différence pour le code courant.

Ce que je lui demande concrètement :

  • Les petites choses que je ne retiens jamais : une règle .htaccess de redirection, une regex pour nettoyer des URL, une requête SQL pour lister les articles sans meta description.
  • Comprendre mon propre code : avec @codebase, je demande « où est géré le changement de langue ? » dans le thème WordPress d’un de mes projets perso. Pratique quand je reprends un projet après une semaine sans y toucher.
  • Déboguer un message d’erreur : je colle l’erreur et le fichier, Qwen 3.5 4B propose une piste. Il se trompe parfois, mais il me fait souvent gagner les 10 minutes de recherche.
  • Mes petits projets perso : une fonction pour un thème WordPress, un bout de JavaScript, un petit script Python pour renommer des fichiers.

Sa limite : dès que la question dépend d’une version récente d’une bibliothèque, il invente. Pour ça, j’attends le retour de la connexion et la doc officielle.

2. Rédiger : reformuler, pas écrire à ma place

Mon dernier test l’a montré : demander un article entier à partir d’un sujet, ça donne un texte qui invente. En revanche, partir de mes propres notes, ça marche bien.

  • Mes notes en vrac → un plan : je tape mes idées dans le désordre, Qwen 3.5 4B me propose une structure en H2/H3. Je garde ce qui me parle.
  • Raccourcir un paragraphe : « dis la même chose en deux fois moins de mots ». Gemma 4 E2B est bon là-dessus.
  • Relire avant publication : Phi-4 Mini repère les répétitions, les phrases trop longues et les passages flous. Il ne corrige pas, il signale, et c’est exactement ce que je veux.
  • Un mail perso un peu délicat : je fais un premier jet, je demande une version plus courte et plus neutre.

La règle que je me suis fixée : l’IA locale travaille sur mon texte, jamais à partir de rien.

3. Le SEO de mes articles

Le SEO on-page, c’est du travail répétitif et bien cadré : le terrain idéal pour un petit modèle.

  • Title et meta description : je colle l’intro, je demande 5 propositions sous 60 et 155 caractères. J’en garde une, je la retouche.
  • Vérifier la structure des Hn : je colle l’article, je demande s’il y a des sauts de niveau ou des titres trop vagues.
  • Textes alternatifs des images : je décris l’image en trois mots, il me propose un alt propre.
  • Questions pour la FAQ : « quelles questions un lecteur se poserait après cet article ? ». C’est souvent là que je trouve l’idée du prochain article.

Ce qu’il ne fait pas : la recherche de mots-clés. Il n’a aucune donnée de volume ni de concurrence. Il devine, et je ne veux pas construire une stratégie sur une devinette.

4. Ce qui ne sort pas de mon PC

C’est l’avantage auquel je ne pensais pas au départ. Certains textes, je n’ai pas envie de les envoyer à un service en ligne :

  • mes brouillons d’articles pas encore publiés ;
  • mes notes perso et mes listes d’idées ;
  • des documents administratifs que je veux juste résumer ou reformuler.

Avec Ollama, tout reste sur la machine. Même avec Internet, je choisis parfois le local pour ça.

Ce que je ne leur demande jamais

Après quelques semaines, la liste est claire :

  • Des faits ou des chiffres : dates, prix, versions, statistiques. Un modèle de 4 milliards de paramètres invente avec aplomb.
  • L’actualité : il ne sait rien de ce qui s’est passé après son entraînement.
  • Un article à partir d’un simple sujet : mon test l’a prouvé, le résultat est plat et faux par endroits.
  • Une décision à ma place : il propose, je tranche.

En résumé : plus la tâche dépend de ce que je lui donne, mieux ça marche. Plus elle dépend de ce qu’il « sait », moins je lui fais confiance.

Le récap : quelle tâche, quel modèle

Tâche Modèle Temps indicatif
Autocomplétion dans VS Code Qwen 2.5 Coder 3B instantané
Règle .htaccess, regex, SQL Qwen 3.5 4B 10 à 20 s
Recherche dans mon code (@codebase) nomic-embed-text + Qwen 3.5 4B 20 à 40 s
Plan à partir de mes notes Qwen 3.5 4B moins d’1 min
Raccourcir, reformuler Gemma 4 E2B 15 à 30 s
Relecture critique Phi-4 Mini moins d’1 min
Title, meta, alt, FAQ Qwen 3.5 4B moins d’1 min
Restructurer un long brouillon La chaîne complète environ 7 min

FAQ

Faut-il vraiment 4 modèles ?

Non. Si je devais n’en garder qu’un, ce serait Qwen 3.5 4B, plus Qwen 2.5 Coder 3B pour VS Code. Les autres sont des spécialistes que j’appelle de temps en temps.

Ça remplace une IA en ligne ?

Pas pour moi. En temps normal, j’utilise une IA en ligne pour mes projets du soir et du week-end. Le local, c’est la roue de secours, plus le coffre-fort pour ce qui doit rester chez moi.

4 Go de VRAM, c’est suffisant ?

Pour un modèle de 2 à 4 milliards de paramètres à la fois, oui. Au-delà, ça déborde sur la RAM et ça devient lent. 32 Go de RAM aident beaucoup.

Conclusion

Au quotidien, mon IA locale n’est pas une usine à articles. C’est un assistant pour les petites tâches : le bout de code oublié, la meta description, la relecture. La chaîne à 4, je la garde pour les gros brouillons.

Et quand la connexion tombe, je continue à avancer au lieu de regarder la box clignoter.