Hardware per LLM locali: quale computer è adatto al Suo modello e al Suo flusso di lavoro

Chi vuole gestire in sede un modello linguistico di grandi dimensioni (in inglese Large Language Model, LLM) di solito chiede per prima cosa della memoria grafica. Ed è anche la prima domanda giusta, perché decide se un modello gira o no. Quanto velocemente svolge il Suo lavoro, però, non lo dice. Un computer con il doppio della memoria può fornire per il Suo compito un decimo delle prestazioni – e una scheda con meno memoria il decuplo. Sì, è proprio così assurdo.

Questo articolo ordina l'hardware secondo le domande che fanno la differenza: dal box IA per la scrivania al Mac Studio fino alla workstation con scheda NVIDIA. E mostra dove i valori di misura pubblicati smettono di dire qualcosa sul Suo flusso di lavoro – cioè proprio lì dove la cosa si fa interessante.

In breve: che cosa è adatto a chi

• Pochi utenti, domande brevi, postazione silenziosa: basta un Mac Studio o un box IA della classe NVIDIA DGX Spark. Entrambi contengono anche modelli grandi e stanno sulla scrivania senza rumore di ventole.
• Input lunghi – documenti, risultati di ricerca, agenti – o molte richieste simultanee: una workstation con una scheda NVIDIA della serie RTX PRO è fatta per questo. Con il software di serving vLLM elabora decine di richieste in contemporanea e fornisce, misurato, un multiplo – anche con meno memoria di un grande Mac.
• Un grande lotto una tantum: calcoli prima il ricorso a un'interfaccia con elaborazione nell'UE. L'hardware proprio conviene con un utilizzo costante – oppure dove i dati non devono lasciare l'azienda.

Le tre domande prima dell'acquisto

1. Quale modello? Dimensione e architettura determinano il fabbisogno di memoria. Un modello con circa 26 miliardi di parametri occupa a 4 bit circa 16 GB, a 8 bit circa 26 GB. I modelli basati sul principio Mixture of Experts (MoE) calcolano per ogni token solo con una parte dei loro parametri – un po' come un grande team in cui non parlano mai tutti insieme. Nella scrittura sono veloci, ma in memoria ci sono comunque tutti.
2. Quanto è lungo l'input? Ogni token che il modello deve leggere costa tempo di calcolo e occupa memoria aggiuntiva. Una breve domanda in chat è un'altra cosa rispetto a un agente che legge 20.000 token di risultati di ricerca ed estratti di documenti.
3. Quante richieste simultanee? Una persona in chat, dieci colleghi con un agente o un lotto di 500.000 documenti – sono tre profili di carico diversi e richiedono hardware diverso.

Lettura e scrittura: due colli di bottiglia diversi

Un modello linguistico elabora ogni richiesta in due fasi:

• Lettura (in inglese prefill): il modello elabora l'intero input in una volta. È un grande compito di calcolo – qui conta la potenza di calcolo del processore grafico.
• Scrittura (in inglese decode): il modello genera la risposta token per token e per farlo legge ogni volta i suoi pesi dalla memoria. Qui conta la larghezza di banda della memoria.

Quanto nettamente le due cose si separino lo mostrano le misure di riferimento di llama.cpp sui chip Apple: il passaggio da 20 a 40 core grafici raddoppia la lettura (1,99 volte), la larghezza di banda doppia accelera la scrittura di 1,72 volte.

Ed ecco la regola più importante dell'articolo: la dimensione della memoria decide se un modello ci sta. Quanto velocemente lavora lo decidono potenza di calcolo e larghezza di banda – e quale delle due fasi prevale nel Suo flusso di lavoro.

Contesto: quando l'input si allunga

Con una breve domanda in chat la lettura dura frazioni di secondo; si aspetta la scrittura. Le cose cambiano appena il modello lavora con documenti: un riassunto con estrazione legge facilmente 7.500 token per documento, un passo di un agente con risultati di ricerca da 10.000 a 30.000. A quel punto il collo di bottiglia diventa la lettura.

Lo stesso modello con 27 miliardi di parametri a 4 bit, circa 6.100 token di input, misurato da MacStories:

Nella scrittura i tre sono vicini, nella lettura distano di un fattore sette. Per un passo di un agente con 20.000 token di input ne risulta – valore derivato, per il modello Gemma 4 26B A4B – un tempo di lettura di circa 0,6 secondi su una RTX PRO 6000, 1,2 secondi su una RTX PRO 5000 e approssimativamente da 3 a 12 secondi su un Mac Studio M5 Ultra. Un agente compie diversi passi di questo tipo per ogni domanda.

Il contesto costa anche memoria. Ciò che resta libero accanto ai pesi accoglie la memoria intermedia di ogni richiesta (KV-Cache, da Key-Value) – e limita così quante richieste lunghe possono girare in contemporanea. Gemma 4 26B A4B a 8 bit occupa circa 26 GB. Su una scheda da 96 GB restano circa 70 GB per il contesto, con 48 GB circa 20 GB, con 32 GB solo circa 5 GB.

Parallelismo: la vera differenza

Per una richiesta alla volta, un Mac Studio e una workstation NVIDIA sono più vicini di quanto lasci supporre il prezzo. Il distacco nasce appena più richieste girano in contemporanea:

Sulla scheda NVIDIA vLLM elabora decine di richieste in contemporanea. Sul Mac il raggruppamento – misurato con llama.cpp – aiuta solo la scrittura, la lettura di input lunghi procede praticamente in sequenza. Per il Mac esiste sì un plugin vLLM (vllm-metal), ma per i modelli grandi non c'è ancora nessuna misura pubblicata con molte richieste simultanee.

I box IA con NVIDIA GB10 si collocano in mezzo: con un modello MoE come gpt-oss-120b scalano bene, con un modello denso da 27B frena la larghezza di banda di 273 GB/s – con dieci richieste simultanee misurati da 58 a 84 token/s complessivi.

Limiti delle misure: che cosa misura un benchmark – e che cosa no

La maggior parte dei numeri nei forum e nei test è misurata correttamente. Solo che spesso misura qualcos'altro rispetto al Suo flusso di lavoro. Succede più spesso di quanto si pensi. Sei domande prima di fidarsi di un numero:

1. Quale fase? llama-bench, lo strumento di misura di llama.cpp, restituisce due valori: pp per la lettura (prompt processing) e tg per la scrittura (text generation). Senza ulteriori indicazioni misura 512 token di input e 128 token di output, una richiesta, contesto vuoto. “tg128: 57 token/s“ non dice nulla su quanto durino 20.000 token di input. Cerchi il valore pp alla Sua lunghezza di input – pp8192 invece di pp512.
2. Una richiesta o molte? Il valore di picco di una singola richiesta non è un punto di carico. Chieda misure con tante richieste simultanee quante ne ha Lei – e il tempo fino al primo token.
3. Stesso modello, stesso formato? Qwen3.6-27B a 8 bit non è Qwen3.8-27B a 4 bit. Stessa classe di dimensione non significa stesso numero; le versioni a 4 bit sono più piccole e di solito più veloci.
4. Quale software in quale versione? Su un Mac Studio M3 Ultra la lettura a 8.192 token è scesa, dopo un aggiornamento di llama.cpp, da circa 2.106 a 1.183 token/s – stesso hardware, stesso modello, versione del software diversa.
5. Chi ha misurato? Molti numeri sui Mac sono singole esecuzioni della community senza dispersione. Le indicazioni dei produttori come “AI TOPS“ sono valori di picco a 4 bit, non throughput.
6. Che cosa manca? Per l'M5 Ultra non c'è nessuna misura con molte richieste simultanee, per la RTX PRO 5000 nessuna con Gemma 4. Dove manca un numero, ogni proiezione è un'ipotesi.

Il confronto più pulito è quello con lo stesso strumento e gli stessi parametri – qui gpt-oss-120b con llama-bench, 8.192 token di input e 128 token di output, una richiesta:

La misura più affidabile è la propria: con il Suo modello, la Sua lunghezza di input e tante richieste simultanee quante in esercizio – ad esempio llama-bench -m modell.gguf -p 8192 -n 512 per una richiesta e lo strumento di carico del Suo software di serving per molte, con vLLM vllm bench serve.

Le classi di hardware in sintesi

I prezzi delle workstation si riferiscono al Dell Pro Max Tower T2, che monta le schede di fabbrica, con Linux e assistenza in loco; HP e Lenovo offrono workstation comparabili, i system integrator le assemblano su richiesta.

Due note sulle classi:

• Mac Studio: di fabbrica macOS assegna alla parte grafica solo una parte della memoria condivisa – misurato il 78 % su un Mac da 32 GB e l'84 % su un Mac da 128 GB. La quota si può aumentare (sysctl iogpu.wired_limit_mb), ma macOS stesso ha bisogno di 8–16 GB. Come server, al Mac mancano un chip di gestione remota e una memoria a correzione d'errore dichiarata (Error-Correcting Code, ECC); Linux sui chip attuali non gira affatto oppure gira senza accelerazione grafica.
• RTX PRO 6000 Max-Q o Workstation Edition: memoria e larghezza di banda sono uguali, la Max-Q richiede 300 invece di 600 W. Con i modelli linguistici è, misurato, più lenta del 13–19 % (confronto llama-bench sopra), con puro carico di calcolo fino a un terzo. Per una macchina in ufficio la metà del calore disperso è di solito lo scambio migliore – il Suo condizionatore La ringrazierà.

Un esempio: arricchire 500.000 documenti

Un lotto tipico: 500.000 documenti, per ogni documento un riassunto e un'estrazione di persone, aziende e importi come dati strutturati – circa 7.500 token di input e 1.500 token di output, senza reasoning, con il modello Gemma 4 26B A4B. Valori derivati dalle misure sopra:

Gemma 4 26B A4B è misurato solo sulla RTX PRO 6000 da 600 W; le altre righe sono proiezioni da misure su dispositivi e modelli affini, gli intervalli mostrano l'incertezza.

Tre cose saltano all'occhio:

• Più memoria qui non porta throughput. Il modello occupa a 4 bit circa 16 GB – già la versione da 96 GB del Mac è vuota per tre quarti. Un Mac da 512 GB non elabora questo lotto più velocemente di uno da 256 GB.
• Tre Mac per circa 20.000 € forniscono da circa un terzo a poco meno della metà di una singola workstation con RTX PRO 6000 a un prezzo simile. In modo sensato il lotto si distribuisce su più Mac, ciascuno con la propria istanza; un collegamento via Thunderbolt aiuta a far entrare modelli giganteschi, non nel throughput di un lotto.
• Dopo la prima esecuzione, il quotidiano non è critico. 1.000 nuovi documenti al giorno la RTX PRO 6000 li gestisce in circa 12 minuti, la RTX PRO 5000 in 25–30 minuti, un Mac Studio in 1,5–2 ore. A quel punto la differenza la fa l'uso da parte di agenti e colleghi.

Acquistare, noleggiare o passare da un'interfaccia?

L'hardware proprio è economico per documento – finché lavora. Valore derivato su 36 mesi, a pieno carico 24 ore su 24, corrente a 0,30 € per kWh: circa 0,18 € per 1.000 documenti sulla RTX PRO 6000, da 0,41 a 0,59 € su un Mac Studio. Se l'hardware viene usato solo otto ore al giorno, questi costi triplicano, perché l'ammortamento corre anche a vuoto.

Tramite un'interfaccia con elaborazione nell'UE, la stessa esecuzione con Gemma 4 26B A4B costa, con le offerte più convenienti, circa da 1,20 a 1,70 € per 1.000 documenti – la prima esecuzione su 500.000 documenti quindi da 600 a 850 €. Una workstation costa da 13.500 a 22.200 €. Per un lotto una tantum l'interfaccia è quindi quasi sempre più conveniente.

L'hardware proprio conviene se lavora in modo costante – arricchimento continuo, agenti per più colleghi, più modelli in parallelo – oppure se i dati non devono lasciare l'azienda, ad esempio per chi è tenuto al segreto professionale. In mezzo c'è il noleggio: una RTX PRO 6000 si trova nei data center europei a partire da circa 1,25 € all'ora, come Max-Q con contratto mensile a partire da circa 1.200 € – senza acquisto, ma con gli stessi vantaggi nel parallelismo.

Quale calcolo torna per il Suo modello lo vede in searchit Models:

• Il filtro Pesi aperti, gestibile in proprio mostra i modelli che può gestire anche su hardware proprio.
• La scheda di ogni modello – ad esempio Gemma 4 26B A4B – indica parametri, lunghezza del contesto, licenza e un valore indicativo per la memoria grafica a 4 bit insieme alla scheda RTX PRO più piccola adatta. Il valore indicativo vale per i pesi con un supplemento fisso; contesto e richieste simultanee richiedono di più, come mostrato sopra.
• Il calcolatore dei costi confronta la Sua quantità di token con tutte le offerte, separando l'elaborazione nell'UE da quella al di fuori – il contro-calcolo rispetto all'acquisto.

In ufficio: rumore, corrente e calore

• Workstation con RTX PRO 6000: sotto vLLM la scheda assorbe fino a circa 530 W; un alimentatore da 1.500 W si collega a un normale circuito da 16 A. Il calore disperso corrisponde a un termoventilatore al minimo – d'inverno una funzione in più, d'estate... insomma. Con un valore di progetto di 40 dB(A) di rumore di fondo negli uffici per una o due persone (regola tedesca sui luoghi di lavoro ASR A3.7), l'apparecchio va in un locale attiguo con apporto d'aria, non alla postazione di lavoro. In funzione 24 ore su 24 la corrente costa circa 1.970 € all'anno, con la Max-Q circa 1.180 €.
• Box IA con GB10: circa 160 W sotto carico, misurati al massimo 37,5 dB(A) a 46 cm di distanza – può stare alla postazione di lavoro. Corrente 24 ore su 24: circa 420 € all'anno.
• Mac Studio: al massimo 480 W, silenzioso; dopo un'interruzione di corrente si riavvia da solo, se lo si desidera.
• Per qualsiasi elaborazione a lotti: un gruppo di continuità, affinché un'esecuzione di più giorni non fallisca per uno sbalzo di rete.

Dove entra in gioco searchit

Un modello linguistico sa formulare e trarre conclusioni, ma non sa nulla della Sua azienda. Questa memoria la fornisce searchit: file server, caselle di posta e applicazioni specialistiche, ricercabili con i permessi di ciascun utente. Quale modello ci lavori lo decide Lei – searchit collega i modelli linguistici tramite fornitori intercambiabili, anche modelli in sede tramite un'interfaccia compatibile con OpenAI, come quella che mettono a disposizione vLLM, llama.cpp e Ollama.

Due dei flussi di lavoro di questo articolo sono quelli di searchit: l'arricchimento con l'IA durante l'indicizzazione – riassunti, persone e aziende riconosciute, segnali – è un lotto con input lunghi. Il searchit AI Agent e gli agenti esterni che cercano tramite searchit sono il caso con molto contesto e più utenti contemporaneamente. Quale hardware Le serve dipende dal patrimonio documentale, dal modello e dal numero di utenti – lo calcoliamo con Lei sul Suo caso in una dimostrazione.

Domande frequenti

Quanta memoria grafica serve a un LLM locale?

Per i pesi, approssimativamente il numero di parametri per 0,6 GB a 4 bit – un modello con 26 miliardi di parametri quindi circa 16 GB, a 8 bit circa 26 GB. A questo si aggiunge la memoria per il contesto di ogni richiesta simultanea. Chi elabora documenti lunghi o serve più utenti deve prevedere molto di più della pura dimensione del modello. Valori indicativi per ogni modello sono riportati nella scheda in searchit Models.

Basta un Mac Studio per un modello linguistico locale?

Per una persona o pochi utenti con domande brevi: sì, e con 256 GB contiene anche modelli molto grandi in un dispositivo silenzioso. Per input lunghi e molte richieste simultanee una workstation NVIDIA è, misurato, più veloce di un multiplo, perché nella lettura calcola di più e con vLLM elabora molte richieste in parallelo.

Una DGX Spark è abbastanza veloce?

Per modelli basati sul principio Mixture of Experts e piccoli volumi: sì – con gpt-oss-120b e 256 richieste simultanee sono stati misurati complessivamente 863 token/s. Con modelli densi intorno ai 27 miliardi di parametri la larghezza di banda di 273 GB/s limita la scrittura a 8–12 token/s per singola richiesta.

RTX PRO 6000 Max-Q o Workstation Edition?

Entrambe hanno 96 GB e la stessa larghezza di banda. La Max-Q consuma la metà della corrente ed è, misurato, più lenta del 13–19 % con i modelli linguistici, con puro carico di calcolo fino a un terzo. In ufficio è di solito la scelta migliore, nella sala server climatizzata la Workstation Edition.

Che cosa significano pp512 e tg128?

Sono le misure standard di llama-bench: pp512 è la velocità di lettura con 512 token di input, tg128 la velocità di scrittura con 128 token di output, entrambe per una singola richiesta. Per i flussi di lavoro con documenti lunghi conta il valore pp alla Sua lunghezza di input effettiva.

Conviene l'hardware proprio rispetto a un'interfaccia?

Con un utilizzo costante o se i dati non devono lasciare l'azienda, sì. Per un lotto una tantum un'interfaccia con elaborazione nell'UE è di solito più conveniente – 500.000 documenti costano lì, con un modello aperto di medie dimensioni, qualche centinaio di euro. Metta a confronto le due opzioni con il calcolatore dei costi.

Conclusione

Acquisti hardware per il Suo flusso di lavoro – non per il modello più grande di cui si parla in questo momento. Chi risponde a domande brevi per pochi utenti è servito in modo silenzioso ed economico con un Mac Studio o un box IA. Chi elabora documenti, fa lavorare agenti con molto contesto o serve molti colleghi contemporaneamente ha bisogno di potenza di calcolo nella lettura e di software per richieste parallele – oggi una workstation con RTX PRO 5000 o 6000 e vLLM. E chi ha un lotto una tantum fa prima il confronto con un'interfaccia nell'UE – risparmiando nervi e denaro.

Verifichi ogni numero sul Suo flusso di lavoro: con il Suo modello, la Sua lunghezza di input e il Suo numero di richieste simultanee. Modelli, licenze e prezzi li confronta in searchit Models; come searchit collega il Suo modello con il sapere della Sua organizzazione glielo mostriamo in una dimostrazione.

Articoli correlati: Migliori software di ricerca aziendale 2026: il confronto per l'Europa · Che cos'è la AI Enterprise Search? Il livello successivo della ricerca aziendale (in inglese)

• Enterprise Search
• Confronto
• On-premise
• IA