Matériel pour LLM locaux : quel ordinateur convient à votre modèle et à votre usage

Quand on veut exploiter un grand modèle de langage (en anglais Large Language Model, LLM) en interne, on demande généralement d'abord la quantité de mémoire graphique. Et c'est bien la bonne première question, car elle décide si un modèle peut tourner tout court. Elle ne dit pas à quelle vitesse il accomplit votre travail. Un ordinateur avec deux fois plus de mémoire peut fournir pour votre tâche un dixième des performances – et une carte avec moins de mémoire dix fois plus. Oui, c'est aussi fou que ça.

Cet article classe le matériel selon les questions qui font la différence : du boîtier IA pour le bureau à la station de travail avec carte NVIDIA, en passant par le Mac Studio. Et il montre où les mesures publiées cessent de dire quoi que ce soit sur votre usage – c'est-à-dire précisément là où cela devient intéressant.

En bref : ce qui convient à qui

• Peu d'utilisateurs, questions courtes, poste de travail silencieux : un Mac Studio ou un boîtier IA de la classe NVIDIA DGX Spark suffit. Tous deux accueillent aussi de grands modèles et trônent sur le bureau sans bruit de ventilateur.
• Entrées longues – documents, résultats de recherche, agents – ou nombreuses requêtes simultanées : une station de travail avec une carte NVIDIA de la série RTX PRO est faite pour cela. Avec le logiciel de serving vLLM, elle traite des dizaines de requêtes en même temps et fournit, mesures à l'appui, un multiple – même avec moins de mémoire qu'un grand Mac.
• Un gros lot ponctuel : calculez d'abord le coût d'un accès via une interface avec traitement dans l'UE. Le matériel propre est rentable en cas d'utilisation permanente – ou là où les données ne doivent pas quitter la maison.

Les trois questions avant l'achat

1. Quel modèle ? La taille et l'architecture déterminent les besoins en mémoire. Un modèle d'environ 26 milliards de paramètres occupe environ 16 GB en 4 bits, environ 26 GB en 8 bits. Les modèles fondés sur le principe Mixture of Experts (MoE) ne calculent, pour chaque token, qu'avec une partie de leurs paramètres – un peu comme une grande équipe où tout le monde ne parle jamais en même temps. À l'écriture, ils sont rapides ; en mémoire, tous les paramètres sont pourtant présents.
2. Quelle est la longueur de l'entrée ? Chaque token que le modèle doit lire coûte du temps de calcul et occupe de la mémoire supplémentaire. Une courte question de chat n'a rien à voir avec un agent qui lit 20 000 tokens de résultats de recherche et d'extraits de documents.
3. Combien de requêtes simultanées ? Une personne dans le chat, dix collègues avec un agent ou un lot de 500 000 documents – ce sont trois profils de charge différents, et ils exigent un matériel différent.

Lecture et écriture : deux goulets d'étranglement différents

Un modèle de langage traite chaque requête en deux étapes :

• Lecture (en anglais prefill) : le modèle traite l'ensemble de l'entrée d'un coup. C'est une grosse tâche de calcul – ici, c'est la puissance de calcul du processeur graphique qui compte.
• Écriture (en anglais decode) : le modèle génère la réponse token par token et lit pour cela à chaque fois ses poids en mémoire. Ici, c'est la bande passante mémoire qui compte.

Les mesures de référence de llama.cpp sur les puces Apple montrent à quel point cette séparation est nette : passer de 20 à 40 cœurs graphiques double la lecture (facteur 1,99), une bande passante mémoire doublée accélère l'écriture d'un facteur 1,72.

Et voici la règle la plus importante de cet article : la taille de la mémoire décide si un modèle tient. Sa vitesse dépend de la puissance de calcul et de la bande passante – et de celle des deux étapes qui domine dans votre usage.

Contexte : quand l'entrée s'allonge

Pour une courte question de chat, la lecture dure une fraction de seconde ; on attend l'écriture. Tout change dès que le modèle travaille avec des documents : un résumé avec extraction lit facilement 7 500 tokens par document, une étape d'agent avec résultats de recherche 10 000 à 30 000. La lecture devient alors le goulet d'étranglement.

Le même modèle de 27 milliards de paramètres en 4 bits, environ 6 100 tokens en entrée, mesuré par MacStories :

À l'écriture, les trois sont proches ; à la lecture, l'écart atteint un facteur sept. Pour une étape d'agent avec 20 000 tokens en entrée, on en déduit – par extrapolation, pour le modèle Gemma 4 26B A4B – un temps de lecture d'environ 0,6 seconde sur une RTX PRO 6000, 1,2 seconde sur une RTX PRO 5000 et en gros 3 à 12 secondes sur un Mac Studio M5 Ultra. Un agent effectue plusieurs étapes de ce type par question.

Le contexte coûte aussi de la mémoire. Ce qui reste libre à côté des poids accueille la mémoire intermédiaire de chaque requête (KV-Cache, pour Key-Value) – et limite ainsi le nombre de longues requêtes pouvant tourner simultanément. Gemma 4 26B A4B en 8 bits occupe environ 26 GB. Sur une carte de 96 GB, il reste environ 70 GB pour le contexte, avec 48 GB environ 20 GB, avec 32 GB seulement environ 5 GB.

Parallélisme : la vraie différence

Pour une requête à la fois, un Mac Studio et une station de travail NVIDIA sont plus proches que leur prix ne le laisse supposer. L'écart se creuse dès que plusieurs requêtes tournent en même temps :

Sur la carte NVIDIA, vLLM traite des dizaines de requêtes en même temps. Sur le Mac, le regroupement – mesuré avec llama.cpp – n'aide que l'écriture ; la lecture des longues entrées se fait pratiquement l'une après l'autre. Il existe certes un plugin vLLM pour le Mac (vllm-metal), mais pas encore de mesure publiée pour de grands modèles avec de nombreuses requêtes simultanées.

Les boîtiers IA avec NVIDIA GB10 se situent entre les deux : avec un modèle MoE comme gpt-oss-120b, ils montent bien en charge ; avec un modèle dense de 27B, la bande passante de 273 GB/s freine – avec dix requêtes simultanées, on a mesuré 58 à 84 tokens/s au total.

Limites des mesures : ce qu'un benchmark mesure – et ce qu'il ne mesure pas

La plupart des chiffres des forums et des tests sont correctement mesurés. Seulement, ils mesurent souvent autre chose que votre usage. Cela arrive plus souvent qu'on ne le pense. Six questions avant de faire confiance à un chiffre :

1. Quelle étape ? llama-bench, l'outil de mesure de llama.cpp, affiche deux valeurs : pp pour la lecture (prompt processing) et tg pour l'écriture (text generation). Sans autre indication, il mesure 512 tokens en entrée et 128 tokens en sortie, une requête, contexte vide. « tg128 : 57 tokens/s » ne dit rien sur la durée de 20 000 tokens en entrée. Cherchez la valeur pp pour votre longueur d'entrée – pp8192 au lieu de pp512.
2. Une requête ou plusieurs ? La valeur maximale d'une requête unique n'est pas un point de charge. Demandez des mesures avec autant de requêtes simultanées que chez vous – et le temps jusqu'au premier token.
3. Le même modèle, le même format ? Qwen3.6-27B en 8 bits n'est pas Qwen3.8-27B en 4 bits. Même classe de taille ne veut pas dire même chiffre ; les versions 4 bits sont plus petites et généralement plus rapides.
4. Quel logiciel, dans quelle version ? Sur un Mac Studio M3 Ultra, la lecture à 8 192 tokens est passée d'environ 2 106 à 1 183 tokens/s après une mise à jour de llama.cpp – même matériel, même modèle, version logicielle différente.
5. Qui a mesuré ? Beaucoup de chiffres Mac sont des passages uniques issus de la communauté, sans dispersion. Les indications des fabricants comme « AI TOPS » sont des valeurs de pointe en 4 bits, pas des débits.
6. Que manque-t-il ? Pour le M5 Ultra, il n'existe aucune mesure avec de nombreuses requêtes simultanées, pour la RTX PRO 5000 aucune avec Gemma 4. Là où un chiffre manque, toute extrapolation est une hypothèse.

La comparaison la plus propre est celle réalisée avec le même outil et les mêmes paramètres – ici gpt-oss-120b avec llama-bench, 8 192 tokens en entrée et 128 tokens en sortie, une requête :

La mesure la plus fiable reste la vôtre : avec votre modèle, votre longueur d'entrée et autant de requêtes simultanées qu'en exploitation – par exemple llama-bench -m modell.gguf -p 8192 -n 512 pour une requête et l'outil de charge de votre logiciel de serving pour plusieurs, avec vLLM vllm bench serve.

Les classes de matériel en un coup d'œil

Les prix des stations de travail se rapportent à la Dell Pro Max Tower T2, qui intègre les cartes d'usine, avec Linux et service sur site ; HP et Lenovo proposent des stations de travail comparables, et les intégrateurs les assemblent sur demande.

Deux remarques sur les classes :

• Mac Studio : d'usine, macOS n'attribue à la partie graphique qu'une partie de la mémoire partagée – mesuré à 78 % sur un Mac de 32 GB et 84 % sur un Mac de 128 GB. Cette part peut être relevée (sysctl iogpu.wired_limit_mb), mais macOS lui-même a besoin de 8 à 16 GB. Comme serveur, il manque au Mac une puce de maintenance à distance et une mémoire à correction d'erreurs (Error-Correcting Code, ECC) attestée ; Linux ne fonctionne pas du tout sur les puces actuelles, ou seulement sans accélération graphique.
• RTX PRO 6000 Max-Q ou Workstation Edition : la mémoire et la bande passante sont identiques, la Max-Q consomme 300 au lieu de 600 W. Avec des modèles de langage, elle est, mesures à l'appui, 13 à 19 % plus lente (comparaison llama-bench ci-dessus), et jusqu'à un tiers sous pure charge de calcul. Pour une machine au bureau, deux fois moins de chaleur dégagée est généralement le meilleur compromis – votre climatiseur vous en remerciera.

Un exemple : enrichir 500 000 documents

Un lot typique : 500 000 documents, avec pour chacun un résumé et une extraction de personnes, d'entreprises et de montants sous forme de données structurées – environ 7 500 tokens en entrée et 1 500 tokens en sortie, sans raisonnement, avec le modèle Gemma 4 26B A4B. Extrapolé à partir des mesures ci-dessus :

Gemma 4 26B A4B n'a été mesuré que sur la RTX PRO 6000 à 600 W ; les autres lignes sont extrapolées à partir de mesures sur des appareils et modèles apparentés, les fourchettes montrent l'incertitude.

Trois choses sautent aux yeux :

• Plus de mémoire n'apporte ici aucun débit. En 4 bits, le modèle occupe environ 16 GB – même la version 96 GB du Mac est vide aux trois quarts. Un Mac de 512 GB ne traite pas ce lot plus vite qu'un Mac de 256 GB.
• Trois Mac pour environ 20 000 € fournissent environ un tiers à un peu moins de la moitié de ce que fournit une seule station de travail avec RTX PRO 6000 à un prix similaire. Pour bien répartir le lot sur plusieurs Mac, chacun fait tourner sa propre instance ; une grappe reliée par Thunderbolt aide à faire tenir des modèles géants, pas à augmenter le débit d'un lot.
• Après le premier passage, le quotidien ne pose pas de problème. 1 000 nouveaux documents par jour, la RTX PRO 6000 les traite en environ 12 minutes, la RTX PRO 5000 en 25 à 30 minutes, un Mac Studio en 1,5 à 2 heures. La différence se fait alors sur l'utilisation par les agents et les collègues.

Acheter, louer ou passer par une interface ?

Le matériel propre est bon marché par document – tant qu'il tourne. Extrapolé sur 36 mois, utilisé 24 heures sur 24, électricité à 0,30 € par kWh : environ 0,18 € pour 1 000 documents sur la RTX PRO 6000, 0,41 à 0,59 € sur un Mac Studio. Si le matériel n'est utilisé que huit heures par jour, ces coûts triplent, car l'amortissement court aussi au repos.

Via une interface avec traitement dans l'UE, le même passage avec Gemma 4 26B A4B coûte, aux offres les plus avantageuses, environ 1,20 à 1,70 € pour 1 000 documents – le premier passage sur 500 000 documents revient donc à 600 à 850 €. Une station de travail coûte 13 500 à 22 200 €. Pour un lot ponctuel, l'interface est donc presque toujours moins chère.

Le matériel propre est rentable lorsqu'il travaille en permanence – enrichissement continu, agents pour plusieurs collègues, plusieurs modèles côte à côte –, ou lorsque les données ne doivent pas quitter la maison, par exemple chez les professions soumises au secret professionnel. Entre les deux, il y a la location : une RTX PRO 6000 est disponible dans des centres de données européens à partir d'environ 1,25 € de l'heure, en Max-Q avec contrat mensuel à partir d'environ 1 200 € – sans achat, mais avec les mêmes avantages en matière de parallélisme.

Le calcul qui tient la route pour votre modèle, vous le voyez dans searchit Models :

• Le filtre Poids ouverts, exploitable soi-même affiche les modèles que vous avez aussi le droit d'exploiter sur votre propre matériel.
• La fiche de chaque modèle – par exemple Gemma 4 26B A4B – indique les paramètres, la longueur de contexte, la licence et une valeur indicative de mémoire graphique en 4 bits, avec la plus petite carte RTX PRO adaptée. La valeur indicative vaut pour les poids avec une marge fixe ; le contexte et les requêtes simultanées demandent davantage, comme montré plus haut.
• Le calculateur de coûts confronte votre volume de tokens à toutes les offres, en distinguant traitement dans l'UE et hors UE – le calcul comparatif face à l'achat.

Exploitation au bureau : bruit, électricité et chaleur

• Station de travail avec RTX PRO 6000 : sous vLLM, la carte consomme jusqu'à environ 530 W ; une alimentation de 1 500 W se branche sur un circuit électrique courant de 16 A. La chaleur dégagée correspond à un radiateur soufflant à faible puissance – en hiver, c'est un atout ; en été, nettement moins. Avec une valeur de référence de 40 dB(A) de bruit de fond dans un bureau individuel ou partagé à deux (règle allemande sur les lieux de travail ASR A3.7), l'appareil a sa place dans une pièce annexe bien aérée, pas au poste de travail. En continu, l'électricité coûte environ 1 970 € par an, avec la Max-Q environ 1 180 €.
• Boîtier IA avec GB10 : environ 160 W en charge, au maximum 37,5 dB(A) mesurés à 46 cm de distance – il peut rester au poste de travail. Électricité en continu : environ 420 € par an.
• Mac Studio : 480 W au maximum, silencieux ; après une coupure de courant, il redémarre tout seul si vous le souhaitez.
• Pour tout traitement par lots : une alimentation sans interruption, pour qu'un passage de plusieurs jours n'échoue pas à cause d'une micro-coupure.

Où intervient searchit

Un modèle de langage sait formuler et raisonner, mais il ne sait rien de votre entreprise. Cette mémoire, c'est searchit qui la fournit : serveurs de fichiers, boîtes mail et applications métier, consultables avec les droits de chaque utilisateur. Le modèle qui travaille dessus, c'est vous qui le choisissez – searchit connecte les modèles de langage via des fournisseurs interchangeables, y compris des modèles internes via une interface compatible OpenAI, telle que la proposent vLLM, llama.cpp et Ollama.

Deux des usages décrits dans cet article sont ceux de searchit : l'enrichissement par IA lors de l'indexation – résumés, personnes et entreprises reconnues, signaux – est un lot avec de longues entrées. Le searchit AI Agent et les agents tiers qui cherchent via searchit correspondent au cas avec beaucoup de contexte et plusieurs utilisateurs simultanés. Le matériel dont vous avez besoin pour cela dépend du volume de données, du modèle et du nombre d'utilisateurs – nous en faisons le calcul avec vous sur votre cas lors d'une démonstration.

Questions fréquentes

De combien de mémoire graphique un LLM local a-t-il besoin ?

Pour les poids, en gros le nombre de paramètres multiplié par 0,6 GB en 4 bits – un modèle de 26 milliards de paramètres occupe donc environ 16 GB, en 8 bits environ 26 GB. S'y ajoute la mémoire pour le contexte de chaque requête simultanée. Si vous traitez de longs documents ou servez plusieurs utilisateurs, prévoyez nettement plus que la seule taille du modèle. Les valeurs indicatives par modèle figurent dans la fiche de searchit Models.

Un Mac Studio suffit-il pour un modèle de langage local ?

Pour une personne ou quelques utilisateurs avec des questions courtes : oui, et avec 256 GB il accueille aussi de très grands modèles dans un appareil silencieux. Pour des entrées longues et de nombreuses requêtes simultanées, une station de travail NVIDIA est, mesures à l'appui, plusieurs fois plus rapide, car elle calcule davantage à la lecture et traite de nombreuses requêtes en parallèle avec vLLM.

Une DGX Spark est-elle assez rapide ?

Pour les modèles fondés sur le principe Mixture of Experts et de petits volumes : oui – avec gpt-oss-120b et 256 requêtes simultanées, on a mesuré 863 tokens/s au total. Avec des modèles denses autour de 27 milliards de paramètres, la bande passante de 273 GB/s limite l'écriture à 8 à 12 tokens/s par requête individuelle.

RTX PRO 6000 Max-Q ou Workstation Edition ?

Les deux ont 96 GB et la même bande passante. La Max-Q consomme moitié moins d'électricité et est, mesures à l'appui, 13 à 19 % plus lente avec des modèles de langage, et jusqu'à un tiers sous pure charge de calcul. Au bureau, elle est généralement le meilleur choix ; en salle serveur climatisée, c'est la Workstation Edition.

Que signifient pp512 et tg128 ?

Ce sont les mesures standard de llama-bench : pp512 est la vitesse de lecture pour 512 tokens en entrée, tg128 la vitesse d'écriture pour 128 tokens en sortie, les deux pour une requête unique. Pour les usages avec de longs documents, c'est la valeur pp à votre longueur d'entrée réelle qui compte.

Le matériel propre est-il rentable par rapport à une interface ?

En cas d'utilisation permanente, ou si les données ne doivent pas quitter la maison, oui. Pour un lot ponctuel, une interface avec traitement dans l'UE est généralement moins chère – 500 000 documents y coûtent quelques centaines d'euros avec un modèle ouvert de taille moyenne. Comparez les deux avec le calculateur de coûts.

Conclusion

Achetez du matériel pour votre usage – pas pour le plus grand modèle dont tout le monde parle en ce moment. Si vous répondez à des questions courtes pour quelques utilisateurs, un Mac Studio ou un boîtier IA vous sert en silence et à bon prix. Si vous traitez des documents, faites travailler des agents avec beaucoup de contexte ou servez de nombreux collègues simultanément, il vous faut de la puissance de calcul à la lecture et un logiciel pour les requêtes parallèles – aujourd'hui une station de travail avec RTX PRO 5000 ou 6000 et vLLM. Et si vous avez un lot ponctuel, comparez d'abord avec une interface dans l'UE – cela épargne vos nerfs et votre budget.

Vérifiez chaque chiffre sur votre usage : avec votre modèle, votre longueur d'entrée et votre nombre de requêtes simultanées. Les modèles, licences et prix se comparent dans searchit Models ; comment searchit relie votre propre modèle au savoir de votre organisation, nous vous le montrons lors d'une démonstration.

Articles connexes : Meilleurs logiciels de recherche d'entreprise 2026 : le comparatif pour l'Europe · Qu'est-ce que la recherche d'entreprise par IA ? Le niveau supérieur de la recherche d'entreprise (en anglais)

• Enterprise Search
• Comparatif
• On-premise
• IA