Hardware para LLM locales: qué equipo encaja con su modelo y su flujo de trabajo

Quien quiere operar un gran modelo de lenguaje (en inglés Large Language Model, LLM) en sus propias instalaciones suele preguntar primero por la memoria gráfica. Y es la pregunta correcta para empezar, porque decide si un modelo llega a funcionar. Lo que no responde es con qué rapidez hace su trabajo. Un equipo con el doble de memoria puede rendir una décima parte en su tarea, y una tarjeta con menos memoria, diez veces más. Sí, así de curioso es.

Este artículo ordena el hardware según las preguntas que marcan la diferencia: desde la caja de IA para el escritorio y el Mac Studio hasta la estación de trabajo con tarjeta NVIDIA. Y muestra dónde dejan los valores publicados de decir algo sobre su flujo de trabajo, es decir, justo donde la cosa se pone interesante.

En resumen: qué encaja con quién

• Pocos usuarios, preguntas breves, puesto de trabajo silencioso: basta un Mac Studio o una caja de IA de la clase NVIDIA DGX Spark. Ambos admiten también modelos grandes y se colocan en el escritorio sin ruido de ventiladores.
• Entradas largas –documentos, resultados de búsqueda, agentes– o muchas solicitudes simultáneas: una estación de trabajo con una tarjeta NVIDIA de la serie RTX PRO está hecha para eso. Con el software de serving vLLM procesa decenas de solicitudes a la vez y, según las mediciones, rinde varias veces más, incluso con menos memoria que un Mac grande.
• Un gran lote puntual: calcule primero el uso a través de una API con procesamiento en la UE. El hardware propio compensa con una carga continua, o allí donde los datos no deben salir de la casa.

Las tres preguntas antes de comprar

1. ¿Qué modelo? El tamaño y la arquitectura determinan la necesidad de memoria. Un modelo con unos 26.000 millones de parámetros ocupa en 4 bits unos 16 GB, en 8 bits unos 26 GB. Los modelos basados en el principio Mixture of Experts (MoE) calculan cada token solo con una parte de sus parámetros, un poco como un gran equipo en el que nunca hablan todos a la vez. Al escribir son rápidos, pero en la memoria están todos.
2. ¿Qué longitud tiene la entrada? Cada token que el modelo tiene que leer cuesta tiempo de cálculo y ocupa memoria adicional. Una pregunta breve en un chat no es lo mismo que un agente que lee 20.000 tokens de resultados de búsqueda y extractos de documentos.
3. ¿Cuántas solicitudes a la vez? Una persona en el chat, diez compañeros con un agente o un lote de 500.000 documentos: son tres perfiles de carga distintos y exigen hardware distinto.

Lectura y escritura: dos cuellos de botella distintos

Un modelo de lenguaje procesa cada solicitud en dos pasos:

• Lectura (en inglés prefill): el modelo procesa toda la entrada de una vez. Es una gran tarea de cálculo; aquí cuenta la potencia de cálculo del procesador gráfico.
• Escritura (en inglés decode): el modelo genera la respuesta token a token y, para ello, lee cada vez sus pesos de la memoria. Aquí cuenta el ancho de banda de la memoria.

Lo limpiamente que se separan ambos pasos lo muestran las mediciones de referencia de llama.cpp en chips de Apple: pasar de 20 a 40 núcleos gráficos duplica la lectura (1,99 veces), y el doble de ancho de banda de memoria acelera la escritura 1,72 veces.

Y ahora llega la regla más importante del artículo: el tamaño de la memoria decide si un modelo cabe. Con qué rapidez trabaja lo deciden la potencia de cálculo y el ancho de banda, y cuál de los dos pasos predomina en su flujo de trabajo.

Contexto: cuando la entrada se alarga

En una pregunta breve de chat, la lectura dura fracciones de segundo; lo que se espera es la escritura. Cambia en cuanto el modelo trabaja con documentos: un resumen con extracción lee fácilmente 7.500 tokens por documento, un paso de agente con resultados de búsqueda entre 10.000 y 30.000. Entonces la lectura se convierte en el cuello de botella.

El mismo modelo con 27.000 millones de parámetros en 4 bits, unos 6.100 tokens de entrada, medido por MacStories:

En la escritura, los tres están cerca; en la lectura, los separa un factor de siete. Para un paso de agente con 20.000 tokens de entrada resulta de ello –por derivación, para el modelo Gemma 4 26B A4B– un tiempo de lectura de unos 0,6 segundos en una RTX PRO 6000, 1,2 segundos en una RTX PRO 5000 y, a grandes rasgos, de 3 a 12 segundos en un Mac Studio M5 Ultra. Un agente da varios de estos pasos por pregunta.

El contexto también cuesta memoria. Lo que queda libre junto a los pesos acoge la memoria intermedia de cada solicitud (KV-Cache, de Key-Value) y limita así cuántas solicitudes largas pueden ejecutarse a la vez. Gemma 4 26B A4B en 8 bits ocupa unos 26 GB. En una tarjeta con 96 GB quedan unos 70 GB para el contexto, con 48 GB unos 20 GB y con 32 GB apenas unos 5 GB.

Paralelismo: la verdadera diferencia

Para una sola solicitud a la vez, un Mac Studio y una estación de trabajo NVIDIA están más cerca de lo que haría pensar el precio. La distancia aparece en cuanto se ejecutan varias solicitudes simultáneamente:

En la tarjeta NVIDIA, vLLM procesa decenas de solicitudes a la vez. En el Mac, agruparlas –medido con llama.cpp– solo ayuda a la escritura; la lectura de entradas largas se ejecuta prácticamente una tras otra. Para el Mac existe un plugin de vLLM (vllm-metal), pero para modelos grandes aún no hay ninguna medición publicada con muchas solicitudes simultáneas.

Las cajas de IA con NVIDIA GB10 se sitúan en medio: con un modelo MoE como gpt-oss-120b escalan bien; con un modelo denso de 27B frena el ancho de banda de 273 GB/s: con diez solicitudes simultáneas se midieron de 58 a 84 tokens/s en total.

Límites de la medición: qué mide un benchmark y qué no

La mayoría de las cifras de foros y pruebas están bien medidas. Solo que a menudo miden algo distinto de su flujo de trabajo. Ocurre con más frecuencia de lo que se piensa. Seis preguntas antes de fiarse de una cifra:

1. ¿Qué paso? llama-bench, la herramienta de medición de llama.cpp, devuelve dos valores: pp para la lectura (prompt processing) y tg para la escritura (text generation). Sin más indicaciones mide 512 tokens de entrada y 128 tokens de salida, una solicitud, contexto vacío. “tg128: 57 tokens/s” no dice nada sobre cuánto tardan 20.000 tokens de entrada. Busque el valor pp para su longitud de entrada: pp8192 en lugar de pp512.
2. ¿Una solicitud o muchas? El valor máximo de una sola solicitud no es un punto de carga. Pida mediciones con tantas solicitudes simultáneas como en su caso, y el tiempo hasta el primer token.
3. ¿El mismo modelo, el mismo formato? Qwen3.6-27B en 8 bits no es Qwen3.8-27B en 4 bits. La misma clase de tamaño no significa la misma cifra; las versiones de 4 bits son más pequeñas y, por lo general, más rápidas.
4. ¿Qué software y en qué versión? En un Mac Studio M3 Ultra, la lectura con 8.192 tokens bajó tras una actualización de llama.cpp de unos 2.106 a 1.183 tokens/s: mismo hardware, mismo modelo, otra versión del software.
5. ¿Quién ha medido? Muchas cifras de Mac son ejecuciones únicas de la comunidad, sin dispersión. Los datos del fabricante como “AI TOPS” son valores máximos en 4 bits, no rendimientos.
6. ¿Qué falta? Para el M5 Ultra no hay ninguna medición con muchas solicitudes simultáneas, para la RTX PRO 5000 ninguna con Gemma 4. Donde falta una cifra, toda extrapolación es una suposición.

La comparación más limpia es la que usa la misma herramienta y los mismos parámetros; aquí, gpt-oss-120b con llama-bench, 8.192 tokens de entrada y 128 tokens de salida, una solicitud:

Lo más fiable es la medición propia: con su modelo, su longitud de entrada y tantas solicitudes simultáneas como en producción; por ejemplo, llama-bench -m modell.gguf -p 8192 -n 512 para una solicitud y la herramienta de carga de su software de serving para muchas, en vLLM vllm bench serve.

Las clases de hardware de un vistazo

Los precios de las estaciones de trabajo se refieren a la Dell Pro Max Tower T2, que monta las tarjetas de fábrica, con Linux y servicio in situ; HP y Lenovo ofrecen estaciones de trabajo comparables, y los integradores de sistemas las montan bajo pedido.

Dos observaciones sobre las clases:

• Mac Studio: de fábrica, macOS solo asigna a la parte gráfica una porción de la memoria compartida: medido, un 78 % en un Mac de 32 GB y un 84 % en un Mac de 128 GB. La proporción puede aumentarse (sysctl iogpu.wired_limit_mb), pero macOS necesita para sí entre 8 y 16 GB. Como servidor, al Mac le faltan un chip de gestión remota y memoria con corrección de errores (ECC) acreditada; Linux no funciona en los chips actuales o lo hace sin aceleración gráfica.
• RTX PRO 6000 Max-Q o Workstation Edition: la memoria y el ancho de banda son iguales; la Max-Q necesita 300 W en lugar de 600 W. Con modelos de lenguaje es, según las mediciones, entre un 13 y un 19 % más lenta (comparación con llama-bench más arriba), y con carga de cálculo pura, hasta un tercio. Para un equipo en la oficina, la mitad de calor residual suele ser el mejor intercambio; su aire acondicionado se lo agradecerá.

Un ejemplo: enriquecer 500.000 documentos

Un lote típico: 500.000 documentos, por cada documento un resumen y una extracción de personas, empresas e importes como datos estructurados, unos 7.500 tokens de entrada y 1.500 tokens de salida, sin reasoning, con el modelo Gemma 4 26B A4B. Derivado de las mediciones anteriores:

Gemma 4 26B A4B solo se ha medido en la RTX PRO 6000 con 600 W; las demás filas están extrapoladas a partir de mediciones de equipos y modelos afines, y los rangos muestran la incertidumbre.

Llaman la atención tres cosas:

• Más memoria no aporta aquí rendimiento. El modelo ocupa en 4 bits unos 16 GB: ya la versión de 96 GB del Mac está vacía en tres cuartas partes. Un Mac con 512 GB no procesa este lote más rápido que uno con 256 GB.
• Tres Mac por unos 20.000 € rinden entre un tercio y casi la mitad de una sola estación de trabajo con RTX PRO 6000 a un precio similar. Lo sensato es repartir el lote entre varios Mac, cada uno con su propia instancia; una interconexión por Thunderbolt ayuda a dar cabida a modelos gigantes, no al rendimiento por lotes.
• Tras la ejecución inicial, el día a día no es crítico. La RTX PRO 6000 procesa 1.000 documentos nuevos al día en unos 12 minutos, la RTX PRO 5000 en 25 a 30 minutos, un Mac Studio en 1,5 a 2 horas. La diferencia la marca entonces el uso por parte de agentes y compañeros.

¿Comprar, alquilar o usar una API?

El hardware propio es barato por documento, mientras esté funcionando. Por derivación, a lo largo de 36 meses, con carga las 24 horas y electricidad a 0,30 € por kWh: unos 0,18 € por cada 1.000 documentos en la RTX PRO 6000, de 0,41 a 0,59 € en un Mac Studio. Si el hardware solo se usa ocho horas al día, estos costes se triplican, porque la amortización corre también en reposo.

A través de una API con procesamiento en la UE, la misma ejecución con Gemma 4 26B A4B cuesta en las ofertas más económicas unos 1,20 a 1,70 € por cada 1.000 documentos; la ejecución inicial sobre 500.000 documentos, por tanto, de 600 a 850 €. Una estación de trabajo cuesta de 13.500 a 22.200 €. Para un lote puntual, la API es por eso casi siempre más económica.

El hardware propio compensa cuando trabaja de forma continua –enriquecimiento constante, agentes para varios compañeros, varios modelos en paralelo– o cuando los datos no deben salir de la casa, por ejemplo en profesiones sujetas al secreto profesional. Entre ambos está el alquiler: una RTX PRO 6000 se consigue en centros de datos europeos desde unos 1,25 € por hora, como Max-Q con contrato mensual desde unos 1.200 €; sin compra, pero con las mismas ventajas de paralelismo.

Qué cálculo sale a cuenta para su modelo lo ve en searchit Models:

• El filtro Pesos abiertos, operables por uno mismo muestra los modelos que también puede operar en hardware propio.
• La ficha de cada modelo –por ejemplo, Gemma 4 26B A4B– indica los parámetros, la longitud de contexto, la licencia y un valor orientativo de la memoria gráfica en 4 bits, junto con la tarjeta RTX PRO más pequeña adecuada. El valor orientativo se refiere a los pesos con un suplemento fijo; el contexto y las solicitudes simultáneas necesitan más, como se ha mostrado arriba.
• La calculadora de costes calcula su volumen de tokens frente a todas las ofertas, separando el procesamiento dentro y fuera de la UE: el contrapunto a la compra.

Funcionamiento en la oficina: ruido, electricidad y calor

• Estación de trabajo con RTX PRO 6000: bajo vLLM, la tarjeta consume hasta unos 530 W; una fuente de alimentación de 1.500 W cabe en un circuito habitual de 16 A. El calor residual equivale al de un calefactor a baja potencia: en invierno, una ventaja; en verano, no tanto. Con un valor de planificación de 40 dB(A) de ruido de fondo en despachos de una y dos personas (según la regla alemana sobre lugares de trabajo ASR A3.7), el equipo debe ir en una sala contigua con entrada de aire, no en el puesto de trabajo. Funcionando las 24 horas, la electricidad cuesta unos 1.970 € al año; con la Max-Q, unos 1.180 €.
• Caja de IA con GB10: unos 160 W bajo carga, como máximo 37,5 dB(A) medidos a 46 cm de distancia: puede estar en el puesto de trabajo. Electricidad las 24 horas: unos 420 € al año.
• Mac Studio: como máximo 480 W, silencioso; tras un corte de corriente se reinicia solo si se desea.
• Para cualquier procesamiento por lotes: un sistema de alimentación ininterrumpida, para que una ejecución de varios días no fracase por un microcorte.

Dónde entra en juego searchit

Un modelo de lenguaje sabe formular y sacar conclusiones, pero no sabe nada de su empresa. Esa memoria la aporta searchit: servidores de archivos, buzones de correo y aplicaciones especializadas, consultables con los permisos de cada usuario. Qué modelo trabaja sobre ella lo decide usted: searchit conecta modelos de lenguaje a través de proveedores intercambiables, también modelos propios mediante una interfaz compatible con OpenAI como la que ofrecen vLLM, llama.cpp y Ollama.

Dos de los flujos de trabajo de este artículo son los de searchit: el enriquecimiento con IA durante la indexación –resúmenes, personas y empresas reconocidas, señales– es un lote con entradas largas. El searchit AI Agent y los agentes externos que buscan a través de searchit son el caso con mucho contexto y varios usuarios a la vez. Qué hardware necesita para ello depende del fondo documental, del modelo y del número de usuarios; lo calculamos con usted sobre su caso en una demostración.

Preguntas frecuentes

¿Cuánta memoria gráfica necesita un LLM local?

Para los pesos, a grandes rasgos el número de parámetros por 0,6 GB en 4 bits: un modelo con 26.000 millones de parámetros, por tanto, unos 16 GB, en 8 bits unos 26 GB. A ello se suma la memoria para el contexto de cada solicitud simultánea. Quien procesa documentos largos o atiende a varios usuarios debe prever bastante más que el tamaño del modelo en sí. Los valores orientativos de cada modelo figuran en su ficha en searchit Models.

¿Basta un Mac Studio para un modelo de lenguaje local?

Para una persona o pocos usuarios con preguntas breves: sí, y con 256 GB admite también modelos muy grandes en un equipo silencioso. Para entradas largas y muchas solicitudes simultáneas, una estación de trabajo NVIDIA es, según las mediciones, varias veces más rápida, porque calcula más en la lectura y, con vLLM, procesa muchas solicitudes en paralelo.

¿Es una DGX Spark lo bastante rápida?

Para modelos basados en el principio Mixture of Experts y volúmenes pequeños: sí; con gpt-oss-120b y 256 solicitudes simultáneas se han medido 863 tokens/s en total. Con modelos densos de unos 27.000 millones de parámetros, el ancho de banda de 273 GB/s limita la escritura a 8–12 tokens/s por solicitud individual.

¿RTX PRO 6000 Max-Q o Workstation Edition?

Ambas tienen 96 GB y el mismo ancho de banda. La Max-Q necesita la mitad de electricidad y, con modelos de lenguaje, es según las mediciones entre un 13 y un 19 % más lenta, y con carga de cálculo pura, hasta un tercio. En la oficina suele ser la mejor opción; en una sala de servidores climatizada, la Workstation Edition.

¿Qué significan pp512 y tg128?

Son las mediciones estándar de llama-bench: pp512 es la velocidad de lectura con 512 tokens de entrada, tg128 la velocidad de escritura con 128 tokens de salida, ambas para una sola solicitud. Para flujos de trabajo con documentos largos cuenta el valor pp con su longitud de entrada real.

¿Compensa el hardware propio frente a una API?

Con una carga continua o cuando los datos no deben salir de la casa, sí. Para un lote puntual, una API con procesamiento en la UE suele ser más económica: allí, 500.000 documentos cuestan con un modelo abierto de tamaño medio unos cientos de euros. Compare ambas opciones con la calculadora de costes.

Conclusión

Compre hardware para su flujo de trabajo, no para el modelo más grande del que todo el mundo habla en este momento. Quien responde preguntas breves para pocos usuarios está bien servido, en silencio y a buen precio, con un Mac Studio o una caja de IA. Quien procesa documentos, deja trabajar a agentes con mucho contexto o atiende a muchos compañeros a la vez necesita potencia de cálculo en la lectura y software para solicitudes en paralelo: hoy, una estación de trabajo con RTX PRO 5000 o 6000 y vLLM. Y quien tiene un lote puntual calcula primero frente a una API en la UE; eso ahorra nervios y dinero.

Compruebe cada cifra con su flujo de trabajo: con su modelo, su longitud de entrada y su número de solicitudes simultáneas. Los modelos, las licencias y los precios los compara en searchit Models; cómo searchit conecta su propio modelo con el conocimiento de su organización se lo mostramos en una demostración.

Artículos relacionados: Mejores buscadores empresariales 2026: la comparativa para Europa · ¿Qué es Enterprise AI Search? El siguiente nivel de la búsqueda empresarial (en inglés)

• Enterprise Search
• Comparativa
• On-premise
• IA