Hardware para LLM locais: que computador se adequa ao seu modelo e ao seu fluxo de trabalho

Quem quer operar um grande modelo de linguagem (em inglês Large Language Model, LLM) nas próprias instalações pergunta quase sempre primeiro pela memória gráfica. E, de facto, é a primeira pergunta certa, porque decide se um modelo sequer funciona. Mas não diz com que rapidez executa o seu trabalho. Um computador com o dobro da memória pode render, para a sua tarefa, um décimo do desempenho – e uma placa com menos memória, dez vezes mais. Sim, é mesmo assim, por estranho que pareça.

Este artigo organiza o hardware segundo as perguntas que fazem a diferença: da caixa de inteligência artificial (IA) para a secretária, passando pelo Mac Studio, até à workstation com placa NVIDIA. E mostra onde os valores de medição publicados deixam de dizer alguma coisa sobre o seu fluxo de trabalho – ou seja, exatamente onde a coisa fica interessante.

Em resumo: o que serve a quem

• Poucos utilizadores, perguntas curtas, posto de trabalho silencioso: um Mac Studio ou uma caixa de IA da classe NVIDIA DGX Spark é suficiente. Ambos comportam também modelos grandes e ficam em cima da secretária sem ruído de ventoinhas.
• Entradas longas – documentos, resultados de pesquisa, agentes – ou muitos pedidos em simultâneo: uma workstation com uma placa NVIDIA da série RTX PRO foi feita para isso. Com o software de inferência vLLM, processa dezenas de pedidos em simultâneo e entrega, segundo as medições, várias vezes mais – mesmo com menos memória do que um Mac grande.
• Um grande lote único: calcule primeiro a utilização através de uma interface com processamento na UE. O hardware próprio compensa com uma utilização permanente – ou onde os dados não devem sair de casa.

As três perguntas antes da compra

1. Que modelo? O tamanho e a arquitetura determinam a necessidade de memória. Um modelo com cerca de 26 mil milhões de parâmetros ocupa, em 4 bits, cerca de 16 GB e, em 8 bits, cerca de 26 GB. Os modelos segundo o princípio Mixture of Experts (MoE) calculam, por token, apenas com uma parte dos seus parâmetros – um pouco como uma grande equipa em que nunca falam todos ao mesmo tempo. Na escrita são rápidos, mas na memória estão todos presentes.
2. Qual é o comprimento da entrada? Cada token que o modelo tem de ler custa tempo de cálculo e ocupa memória adicional. Uma pergunta curta num chat é diferente de um agente que lê 20 000 tokens de resultados de pesquisa e excertos de documentos.
3. Quantos pedidos em simultâneo? Uma pessoa no chat, dez colegas com um agente ou um lote de 500 000 documentos – são três perfis de carga diferentes, e exigem hardware diferente.

Leitura e escrita: dois estrangulamentos diferentes

Um modelo de linguagem processa cada pedido em dois passos:

• Leitura (em inglês prefill): o modelo processa toda a entrada de uma só vez. É uma grande tarefa de cálculo – aqui conta a capacidade de cálculo do processador gráfico.
• Escrita (em inglês decode): o modelo gera a resposta token a token e, para isso, lê de cada vez os seus pesos da memória. Aqui conta a largura de banda da memória.

As medições de referência do llama.cpp em chips da Apple mostram como esta separação é nítida: passar de 20 para 40 núcleos gráficos duplica a leitura (1,99 vezes), e o dobro da largura de banda da memória acelera a escrita 1,72 vezes.

E agora vem a regra mais importante deste artigo: o tamanho da memória decide se um modelo cabe. A rapidez com que trabalha é decidida pela capacidade de cálculo e pela largura de banda – e por qual dos dois passos predomina no seu fluxo de trabalho.

Contexto: quando a entrada fica longa

Numa pergunta curta de chat, a leitura demora frações de segundo; espera-se pela escrita. É diferente assim que o modelo trabalha com documentos: um resumo com extração lê facilmente 7 500 tokens por documento, um passo de agente com resultados de pesquisa 10 000 a 30 000. Aí, a leitura torna-se o estrangulamento.

O mesmo modelo com 27 mil milhões de parâmetros em 4 bits, cerca de 6 100 tokens de entrada, medido pela MacStories:

Na escrita, os três estão próximos; na leitura, a diferença é de um fator de sete. Para um passo de agente com 20 000 tokens de entrada resulta daí – por derivação, para o modelo Gemma 4 26B A4B – um tempo de leitura de cerca de 0,6 segundos numa RTX PRO 6000, 1,2 segundos numa RTX PRO 5000 e, grosso modo, 3 a 12 segundos num Mac Studio M5 Ultra. Um agente faz vários destes passos por pergunta.

O contexto também custa memória. O que fica livre ao lado dos pesos recebe a memória intermédia de cada pedido (KV-Cache, de Key-Value) – e limita assim quantos pedidos longos podem correr em simultâneo. O Gemma 4 26B A4B em 8 bits ocupa cerca de 26 GB. Numa placa com 96 GB ficam cerca de 70 GB para o contexto, com 48 GB cerca de 20 GB, com 32 GB apenas cerca de 5 GB.

Paralelismo: a verdadeira diferença

Com um pedido de cada vez, um Mac Studio e uma workstation NVIDIA estão mais próximos do que o preço faria supor. A distância surge assim que vários pedidos correm em simultâneo:

Na placa NVIDIA, o vLLM processa dezenas de pedidos em simultâneo. No Mac, o agrupamento – medido com llama.cpp – só ajuda a escrita; a leitura de entradas longas decorre praticamente uma após outra. Para o Mac existe, é certo, um plugin do vLLM (vllm-metal), mas ainda não há nenhuma medição publicada para modelos grandes com muitos pedidos em simultâneo.

As caixas de IA com NVIDIA GB10 ficam no meio: com um modelo MoE como o gpt-oss-120b escalam bem; com um modelo denso de 27B, a largura de banda de 273 GB/s trava – com dez pedidos simultâneos foram medidos 58 a 84 tokens/s no total.

Limites das medições: o que um benchmark mede – e o que não mede

A maior parte dos números em fóruns e testes está corretamente medida. Só que muitas vezes mede outra coisa que não o seu fluxo de trabalho. Isso acontece mais vezes do que se pensa. Seis perguntas antes de confiar num número:

1. Que passo? O llama-bench, a ferramenta de medição do llama.cpp, apresenta dois valores: pp para a leitura (prompt processing) e tg para a escrita (text generation). Sem outras indicações, mede 512 tokens de entrada e 128 tokens de saída, um pedido, contexto vazio. «tg128: 57 tokens/s» não diz nada sobre quanto tempo demoram 20 000 tokens de entrada. Procure o valor pp no seu comprimento de entrada – pp8192 em vez de pp512.
2. Um pedido ou muitos? O valor máximo de um único pedido não é um ponto de carga. Peça medições com tantos pedidos simultâneos como no seu caso – e o tempo até ao primeiro token.
3. O mesmo modelo, o mesmo formato? O Qwen3.6-27B em 8 bits não é o Qwen3.8-27B em 4 bits. A mesma classe de tamanho não significa o mesmo número; as versões de 4 bits são mais pequenas e geralmente mais rápidas.
4. Que software, em que versão? Num Mac Studio M3 Ultra, a leitura com 8 192 tokens caiu, após uma atualização do llama.cpp, de cerca de 2 106 para 1 183 tokens/s – o mesmo hardware, o mesmo modelo, outra versão do software.
5. Quem mediu? Muitos números de Mac são execuções únicas da comunidade, sem dispersão. Indicações dos fabricantes como «AI TOPS» são valores máximos em 4 bits, não débitos.
6. O que falta? Para o M5 Ultra não existe nenhuma medição com muitos pedidos simultâneos, para a RTX PRO 5000 nenhuma com o Gemma 4. Onde falta um número, qualquer extrapolação é uma suposição.

A comparação mais limpa é uma com a mesma ferramenta e os mesmos parâmetros – aqui gpt-oss-120b com llama-bench, 8 192 tokens de entrada e 128 tokens de saída, um pedido:

O mais fiável é a sua própria medição: com o seu modelo, o seu comprimento de entrada e tantos pedidos simultâneos como em produção – por exemplo llama-bench -m modell.gguf -p 8192 -n 512 para um pedido e a ferramenta de carga do seu software de inferência para muitos, no vLLM vllm bench serve.

As classes de hardware em resumo

Os preços das workstations referem-se ao Dell Pro Max Tower T2, que monta as placas de fábrica, com Linux e assistência no local; a HP e a Lenovo oferecem workstations comparáveis, e os integradores de sistemas montam-nas por encomenda.

Duas notas sobre as classes:

• Mac Studio: de fábrica, o macOS dá à parte gráfica apenas uma parte da memória partilhada – medido: 78 % num Mac de 32 GB e 84 % num Mac de 128 GB. A percentagem pode ser aumentada (sysctl iogpu.wired_limit_mb), mas o próprio macOS precisa de 8 a 16 GB. Como servidor, faltam ao Mac um chip de gestão remota e memória com correção de erros (Error-Correcting Code, ECC) declarada; o Linux não funciona de todo nos chips atuais ou funciona sem aceleração gráfica.
• RTX PRO 6000 Max-Q ou Workstation Edition: a memória e a largura de banda são iguais, a Max-Q precisa de 300 em vez de 600 W. Com modelos de linguagem é, segundo as medições, 13 a 19 % mais lenta (comparação llama-bench acima), com pura carga de cálculo até um terço. Para instalar no escritório, metade do calor dissipado é geralmente a melhor troca – o seu ar condicionado agradece.

Um exemplo: enriquecer 500 000 documentos

Um lote típico: 500 000 documentos, por documento um resumo e uma extração de pessoas, empresas e montantes como dados estruturados – cerca de 7 500 tokens de entrada e 1 500 tokens de saída, sem raciocínio, com o modelo Gemma 4 26B A4B. Derivado das medições acima:

O Gemma 4 26B A4B só foi medido na RTX PRO 6000 com 600 W; as restantes linhas foram extrapoladas a partir de medições de dispositivos e modelos aparentados, e os intervalos mostram a incerteza.

Três coisas saltam à vista:

• Mais memória não traz aqui mais débito. Em 4 bits, o modelo ocupa cerca de 16 GB – já a versão de 96 GB do Mac fica três quartos vazia. Um Mac com 512 GB não processa este lote mais depressa do que um com 256 GB.
• Três Macs por cerca de 20 000 € entregam entre cerca de um terço e quase metade de uma única workstation com RTX PRO 6000 a um preço semelhante. Faz sentido distribuir o lote por vários Macs, cada um com a sua própria instância; uma ligação em rede via Thunderbolt ajuda a acomodar modelos gigantes, não o débito do lote.
• Depois da primeira execução, o dia a dia não é crítico. 1 000 documentos novos por dia, a RTX PRO 6000 processa-os em cerca de 12 minutos, a RTX PRO 5000 em 25 a 30 minutos, um Mac Studio em 1,5 a 2 horas. A diferença passa então a estar na utilização por agentes e colegas.

Comprar, alugar ou usar uma interface?

O hardware próprio é barato por documento – desde que esteja a trabalhar. Por derivação, ao longo de 36 meses, com utilização 24 horas por dia, eletricidade a 0,30 € por kWh: cerca de 0,18 € por 1 000 documentos na RTX PRO 6000, 0,41 a 0,59 € num Mac Studio. Se o hardware só for utilizado oito horas por dia, estes custos triplicam, porque a amortização também corre em inatividade.

Através de uma interface com processamento na UE, a mesma execução com o Gemma 4 26B A4B custa, nas ofertas mais baratas, cerca de 1,20 a 1,70 € por 1 000 documentos – a primeira execução sobre 500 000 documentos, portanto, 600 a 850 €. Uma workstation custa 13 500 a 22 200 €. Para um lote único, a interface é por isso quase sempre mais barata.

O hardware próprio compensa quando trabalha de forma permanente – enriquecimento contínuo, agentes para vários colegas, vários modelos lado a lado –, ou quando os dados não devem sair de casa, por exemplo no caso de profissionais sujeitos a sigilo profissional. Entre as duas opções fica o aluguer: uma RTX PRO 6000 está disponível em centros de dados europeus a partir de cerca de 1,25 € por hora, como Max-Q num contrato mensal a partir de cerca de 1 200 € – sem compra, mas com as mesmas vantagens no paralelismo.

Que conta compensa para o seu modelo, vê-o no searchit Models:

• O filtro Pesos abertos, de operação própria mostra os modelos que também pode operar no seu próprio hardware.
• A ficha técnica de cada modelo – por exemplo Gemma 4 26B A4B – indica parâmetros, comprimento do contexto, licença e um valor de referência para a memória gráfica em 4 bits, juntamente com a placa RTX PRO mais pequena adequada. O valor de referência aplica-se aos pesos com um acréscimo fixo; o contexto e os pedidos simultâneos precisam de mais, como mostrado acima.
• A calculadora de custos calcula a sua quantidade de tokens em todas as ofertas, separadas por processamento na UE e fora dela – a contraprova à compra.

Funcionamento no escritório: ruído, eletricidade e calor

• Workstation com RTX PRO 6000: com o vLLM, a placa consome até cerca de 530 W; uma fonte de alimentação de 1 500 W liga-se a um circuito comum de 16 A. O calor dissipado equivale a um termoventilador na potência mínima – no inverno, uma vantagem; no verão... nem tanto. Com um valor de planeamento de 40 dB(A) de ruído de fundo em gabinetes de uma e duas pessoas (regra alemã para locais de trabalho ASR A3.7), o dispositivo deve ficar numa sala adjacente com entrada de ar, não no posto de trabalho. A funcionar 24 horas por dia, a eletricidade custa cerca de 1 970 € por ano, com a Max-Q cerca de 1 180 €.
• Caixa de IA com GB10: cerca de 160 W sob carga, medidos no máximo 37,5 dB(A) a 46 cm de distância – pode ficar no posto de trabalho. Eletricidade 24 horas por dia: cerca de 420 € por ano.
• Mac Studio: no máximo 480 W, silencioso; após uma falha de energia, reinicia sozinho, se assim o desejar.
• Para qualquer processamento em lote: uma fonte de alimentação ininterrupta, para que uma execução de vários dias não falhe por causa de uma oscilação da rede.

Onde entra o searchit

Um modelo de linguagem consegue formular e tirar conclusões, mas não sabe nada sobre a sua empresa. Essa memória é fornecida pelo searchit: servidores de ficheiros, caixas de correio e aplicações de negócio, pesquisáveis com as permissões de cada utilizador. O modelo que trabalha sobre isso é escolhido por si – o searchit liga modelos de linguagem através de fornecedores intercambiáveis, incluindo modelos nas próprias instalações através de uma interface compatível com OpenAI, como a que o vLLM, o llama.cpp e o Ollama disponibilizam.

Dois dos fluxos de trabalho deste artigo são os do searchit: o enriquecimento com IA durante a indexação – resumos, pessoas e empresas reconhecidas, sinais – é um lote com entradas longas. O searchit AI Agent e os agentes externos que pesquisam através do searchit são o caso com muito contexto e vários utilizadores em simultâneo. O hardware de que precisa para isso depende do acervo, do modelo e do número de utilizadores – fazemos essas contas consigo, para o seu caso, numa demonstração.

Perguntas frequentes

Quanta memória gráfica precisa um LLM local?

Para os pesos, grosso modo o número de parâmetros vezes 0,6 GB em 4 bits – um modelo com 26 mil milhões de parâmetros, portanto, cerca de 16 GB, em 8 bits cerca de 26 GB. A isso soma-se a memória para o contexto de cada pedido simultâneo. Quem processa documentos longos ou serve vários utilizadores deve prever bastante mais do que o simples tamanho do modelo. Os valores de referência por modelo estão na ficha técnica do searchit Models.

Um Mac Studio chega para um modelo de linguagem local?

Para uma pessoa ou poucos utilizadores com perguntas curtas: sim, e com 256 GB comporta também modelos muito grandes num dispositivo silencioso. Para entradas longas e muitos pedidos simultâneos, uma workstation NVIDIA é, segundo as medições, várias vezes mais rápida, porque calcula mais na leitura e processa muitos pedidos em paralelo com o vLLM.

Uma DGX Spark é suficientemente rápida?

Para modelos segundo o princípio Mixture of Experts e pequenos volumes: sim – com o gpt-oss-120b e 256 pedidos simultâneos foram medidos 863 tokens/s no total. Em modelos densos de cerca de 27 mil milhões de parâmetros, a largura de banda de 273 GB/s limita a escrita a 8 a 12 tokens/s por pedido individual.

RTX PRO 6000 Max-Q ou Workstation Edition?

Ambas têm 96 GB e a mesma largura de banda. A Max-Q consome metade da eletricidade e é, com modelos de linguagem, 13 a 19 % mais lenta segundo as medições, com pura carga de cálculo até um terço. No escritório é geralmente a melhor escolha; na sala de servidores climatizada, a Workstation Edition.

O que significam pp512 e tg128?

São as medições padrão do llama-bench: pp512 é a velocidade de leitura com 512 tokens de entrada, tg128 a velocidade de escrita com 128 tokens de saída, ambas para um único pedido. Para fluxos de trabalho com documentos longos, conta o valor pp no seu comprimento de entrada real.

O hardware próprio compensa em comparação com uma interface?

Com utilização permanente ou quando os dados não devem sair de casa, sim. Para um lote único, uma interface com processamento na UE é geralmente mais barata – aí, 500 000 documentos com um modelo aberto de tamanho médio custam algumas centenas de euros. Faça as contas a ambos com a calculadora de custos.

Conclusão

Compre hardware para o seu fluxo de trabalho – não para o maior modelo de que toda a gente está a falar. Quem responde a perguntas curtas para poucos utilizadores fica bem servido, de forma silenciosa e económica, com um Mac Studio ou uma caixa de IA. Quem processa documentos, põe agentes a trabalhar com muito contexto ou serve muitos colegas em simultâneo precisa de capacidade de cálculo na leitura e de software para pedidos paralelos – hoje, uma workstation com RTX PRO 5000 ou 6000 e vLLM. E quem tem um lote único faz primeiro as contas com uma interface na UE – poupa nervos e dinheiro.

Verifique cada número no seu fluxo de trabalho: com o seu modelo, o seu comprimento de entrada e o seu número de pedidos simultâneos. Modelos, licenças e preços compara-os no searchit Models; como o searchit liga o seu próprio modelo ao conhecimento da sua organização mostramos-lhe numa demonstração.

Artigos relacionados: Melhores software de pesquisa empresarial 2026: a comparação de enterprise search para a Europa · O que é a enterprise search com IA? O próximo nível da pesquisa empresarial (em inglês)

• Enterprise Search
• Comparação
• On-premise
• IA