Hardware für lokale LLMs: welcher Rechner zu Ihrem Modell und Ihrem Ablauf passt

Wer ein großes Sprachmodell (englisch Large Language Model, LLM) im eigenen Haus betreiben will, fragt meist zuerst nach dem Grafikspeicher. Und wissen S': Das ist auch die richtige erste Frage, denn sie entscheidet, ob ein Modell überhaupt läuft. Wie schnell es Ihre Arbeit erledigt, beantwortet sie nicht. Ein Rechner mit doppelt so viel Speicher kann für Ihre Aufgabe ein Zehntel der Leistung bringen – und eine Karte mit weniger Speicher das Zehnfache. Ja, so verrückt ist das.

Dieser Beitrag ordnet die Hardware nach den Fragen, die den Unterschied machen: von der KI-Box für den Schreibtisch über den Mac Studio bis zur Workstation mit NVIDIA-Karte. Und er zeigt, wo veröffentlichte Messwerte aufhören, etwas über Ihren Ablauf zu verraten – also genau dort, wo's interessant wird.

Kurz gesagt: was zu wem passt

• Wenige Nutzer, kurze Fragen, leiser Arbeitsplatz: Ein Mac Studio oder eine KI-Box der Klasse NVIDIA DGX Spark genügt. Beide fassen auch große Modelle und stehen ohne Lüfterlärm auf dem Schreibtisch.
• Lange Eingaben – Dokumente, Suchtreffer, Agenten – oder viele Anfragen gleichzeitig: Eine Workstation mit einer NVIDIA-Karte der Reihe RTX PRO ist dafür gebaut. Mit der Serving-Software vLLM arbeitet sie Dutzende Anfragen gleichzeitig ab und liefert gemessen ein Vielfaches – auch mit weniger Speicher als ein großer Mac.
• Ein einmaliger großer Stapel: Rechnen Sie zuerst den Bezug über eine Schnittstelle mit Verarbeitung in der EU durch. Eigene Hardware rechnet sich bei dauerhafter Auslastung – oder dort, wo die Daten das Haus nicht verlassen sollen.

Die drei Fragen vor dem Kauf

1. Welches Modell? Größe und Bauart bestimmen den Speicherbedarf. Ein Modell mit rund 26 Milliarden Parametern belegt in 4 Bit etwa 16 GB, in 8 Bit etwa 26 GB. Modelle nach dem Prinzip Mixture of Experts (MoE) rechnen je Token nur mit einem Teil ihrer Parameter – ein bisserl wie ein großes Team, wo nie alle gleichzeitig reden. Beim Schreiben sind sie schnell, im Speicher liegen trotzdem alle.
2. Wie lang ist die Eingabe? Jedes Token, das das Modell lesen muss, kostet Rechenzeit und belegt zusätzlich Speicher. Eine kurze Chatfrage ist etwas anderes als ein Agent, der 20.000 Token Suchtreffer und Dokumentauszüge liest.
3. Wie viele Anfragen gleichzeitig? Eine Person im Chat, zehn Kollegen mit einem Agenten oder ein Stapel von 500.000 Dokumenten – das sind drei verschiedene Lastprofile, und sie verlangen verschiedene Hardware.

Einlesen und Schreiben: zwei verschiedene Engpässe

Ein Sprachmodell bearbeitet jede Anfrage in zwei Schritten:

• Einlesen (englisch prefill): Das Modell verarbeitet die gesamte Eingabe auf einmal. Das ist eine große Rechenaufgabe – hier zählt die Rechenleistung des Grafikprozessors.
• Schreiben (englisch decode): Das Modell erzeugt die Antwort Token für Token und liest dafür jedes Mal seine Gewichte aus dem Speicher. Hier zählt die Speicherbandbreite.

Wie sauber sich das trennt, zeigen die Referenzmessungen von llama.cpp auf Apple-Chips: Der Schritt von 20 auf 40 Grafikkerne verdoppelt das Einlesen (1,99-fach), die doppelte Speicherbandbreite beschleunigt das Schreiben um das 1,72-fache.

Und jetzt kommt die wichtigste Regel des Beitrags: Die Größe des Speichers entscheidet, ob ein Modell passt. Wie schnell es arbeitet, entscheiden Rechenleistung und Bandbreite – und welcher der beiden Schritte in Ihrem Ablauf überwiegt.

Kontext: wenn die Eingabe lang wird

Bei einer kurzen Chatfrage dauert das Einlesen Sekundenbruchteile; gewartet wird auf das Schreiben. Anders, sobald das Modell mit Dokumenten arbeitet: Eine Zusammenfassung mit Extraktion liest leicht 7.500 Token je Dokument, ein Agentenschritt mit Suchtreffern 10.000 bis 30.000. Dann wird das Einlesen zum Engpass.

Dasselbe Modell mit 27 Milliarden Parametern in 4 Bit, rund 6.100 Token Eingabe, gemessen von MacStories:

Beim Schreiben liegen die drei nah beieinander, beim Einlesen um den Faktor sieben auseinander. Für einen Agentenschritt mit 20.000 Token Eingabe ergibt sich daraus – abgeleitet, für das Modell Gemma 4 26B A4B – eine Einlesezeit von rund 0,6 Sekunden auf einer RTX PRO 6000, 1,2 Sekunden auf einer RTX PRO 5000 und grob 3 bis 12 Sekunden auf einem Mac Studio M5 Ultra. Ein Agent macht je Frage mehrere solcher Schritte.

Kontext kostet auch Speicher. Was neben den Gewichten frei bleibt, nimmt den Zwischenspeicher je Anfrage auf (KV-Cache, von Key-Value) – und begrenzt damit, wie viele lange Anfragen gleichzeitig laufen. Gemma 4 26B A4B in 8 Bit belegt rund 26 GB. Auf einer Karte mit 96 GB bleiben etwa 70 GB für den Kontext, mit 48 GB etwa 20 GB, mit 32 GB nur noch etwa 5 GB.

Parallelität: der eigentliche Unterschied

Für eine Anfrage zur Zeit liegen ein Mac Studio und eine NVIDIA-Workstation näher beieinander, als der Preis vermuten lässt. Der Abstand entsteht, sobald mehrere Anfragen gleichzeitig laufen:

Auf der NVIDIA-Karte arbeitet vLLM Dutzende Anfragen gleichzeitig ab. Auf dem Mac hilft das Bündeln – gemessen mit llama.cpp – nur dem Schreiben, das Einlesen langer Eingaben läuft praktisch nacheinander. Für den Mac gibt es zwar ein vLLM-Plugin (vllm-metal), aber für große Modelle noch keine veröffentlichte Messung mit vielen gleichzeitigen Anfragen.

Die KI-Boxen mit NVIDIA GB10 liegen dazwischen: Mit einem MoE-Modell wie gpt-oss-120b skalieren sie gut, mit einem dichten 27B-Modell bremst die Bandbreite von 273 GB/s – mit zehn gleichzeitigen Anfragen gemessen 58 bis 84 Token/s zusammen.

Messgrenzen: was ein Benchmark misst – und was nicht

Die meisten Zahlen in Foren und Testberichten sind richtig gemessen. Sie messen nur oft etwas anderes als Ihren Ablauf. Das passiert öfter, als man denkt. Sechs Fragen, bevor Sie einer Zahl vertrauen:

1. Welcher Schritt? llama-bench, das Messwerkzeug von llama.cpp, gibt zwei Werte aus: pp für das Einlesen (prompt processing) und tg für das Schreiben (text generation). Ohne weitere Angaben misst es 512 Token Eingabe und 128 Token Ausgabe, eine Anfrage, leerer Kontext. „tg128: 57 Token/s“ sagt nichts darüber, wie lange 20.000 Token Eingabe dauern. Suchen Sie den pp-Wert bei Ihrer Eingabelänge – pp8192 statt pp512.
2. Eine Anfrage oder viele? Der Spitzenwert einer einzelnen Anfrage ist kein Lastpunkt. Fragen Sie nach Messungen mit so vielen gleichzeitigen Anfragen wie bei Ihnen – und nach der Zeit bis zum ersten Token.
3. Dasselbe Modell, dasselbe Format? Qwen3.6-27B in 8 Bit ist nicht Qwen3.8-27B in 4 Bit. Gleiche Größenklasse heißt nicht gleiche Zahl; 4-Bit-Fassungen sind kleiner und meist schneller.
4. Welche Software in welcher Version? Auf einem Mac Studio M3 Ultra fiel das Einlesen bei 8.192 Token nach einem Update von llama.cpp von rund 2.106 auf 1.183 Token/s – gleiche Hardware, gleiches Modell, anderer Softwarestand.
5. Wer hat gemessen? Viele Mac-Zahlen sind Einzelläufe aus der Community ohne Streuung. Herstellerangaben wie „AI TOPS“ sind Spitzenwerte in 4 Bit, keine Durchsätze.
6. Was fehlt? Für den M5 Ultra gibt es keine Messung mit vielen gleichzeitigen Anfragen, für die RTX PRO 5000 keine mit Gemma 4. Wo eine Zahl fehlt, ist jede Hochrechnung eine Annahme.

Der sauberste Vergleich ist einer mit demselben Werkzeug und denselben Parametern – hier gpt-oss-120b mit llama-bench, 8.192 Token Eingabe und 128 Token Ausgabe, eine Anfrage:

Am verlässlichsten ist die eigene Messung: mit Ihrem Modell, Ihrer Eingabelänge und so vielen gleichzeitigen Anfragen wie im Betrieb – etwa llama-bench -m modell.gguf -p 8192 -n 512 für eine Anfrage und das Lastwerkzeug Ihrer Serving-Software für viele, bei vLLM vllm bench serve.

Die Hardware-Klassen im Überblick

Die Workstation-Preise beziehen sich auf den Dell Pro Max Tower T2, der die Karten ab Werk verbaut, mit Linux und Vor-Ort-Service; HP und Lenovo bieten vergleichbare Workstations an, Systemhäuser bauen sie auf Anfrage.

Zwei Hinweise zu den Klassen:

• Mac Studio: macOS gibt dem Grafikteil ab Werk nur einen Teil des gemeinsamen Speichers – gemessen 78 % auf einem 32-GB-Mac und 84 % auf einem 128-GB-Mac. Der Anteil lässt sich anheben (sysctl iogpu.wired_limit_mb), macOS braucht aber selbst 8 bis 16 GB. Als Server fehlen dem Mac ein Fernwartungschip und ausgewiesener fehlerkorrigierender Speicher (ECC); Linux läuft auf den aktuellen Chips gar nicht oder ohne Grafikbeschleunigung.
• RTX PRO 6000 Max-Q oder Workstation Edition: Speicher und Bandbreite sind gleich, die Max-Q braucht 300 statt 600 W. Mit Sprachmodellen ist sie gemessen 13 bis 19 % langsamer (llama-bench-Vergleich oben), bei reiner Rechenlast bis zu einem Drittel. Für einen Büroaufsteller ist die halbe Abwärme meist der bessere Tausch – Ihr Klimagerät wird's Ihnen danken.

Ein Beispiel: 500.000 Dokumente anreichern

Ein typischer Stapel: 500.000 Dokumente, je Dokument eine Zusammenfassung und eine Extraktion von Personen, Firmen und Beträgen als strukturierte Daten – rund 7.500 Token Eingabe und 1.500 Token Ausgabe, ohne Reasoning, mit dem Modell Gemma 4 26B A4B. Abgeleitet aus den Messungen oben:

Gemessen ist Gemma 4 26B A4B nur auf der RTX PRO 6000 mit 600 W; die übrigen Zeilen sind aus Messungen verwandter Geräte und Modelle hochgerechnet, die Spannen zeigen die Unsicherheit.

Drei Dinge fallen auf:

• Mehr Speicher bringt hier keinen Durchsatz. Das Modell belegt in 4 Bit rund 16 GB – schon die 96-GB-Fassung des Mac ist zu drei Vierteln leer. Ein Mac mit 512 GB arbeitet diesen Stapel nicht schneller ab als einer mit 256 GB.
• Drei Macs für rund 20.000 € liefern etwa ein Drittel bis knapp die Hälfte einer einzelnen Workstation mit RTX PRO 6000 zum ähnlichen Preis. Sinnvoll verteilt wird der Stapel auf mehrere Macs mit je eigener Instanz; ein Verbund über Thunderbolt hilft, Riesenmodelle einzupassen, nicht beim Stapeldurchsatz.
• Nach dem Erstlauf ist der Alltag unkritisch. 1.000 neue Dokumente am Tag schafft die RTX PRO 6000 in rund 12 Minuten, die RTX PRO 5000 in 25 bis 30 Minuten, ein Mac Studio in 1,5 bis 2 Stunden. Den Unterschied macht dann die Nutzung durch Agenten und Kollegen.

Kaufen, mieten oder über eine Schnittstelle?

Eigene Hardware ist je Dokument günstig – solange sie läuft. Abgeleitet über 36 Monate, rund um die Uhr ausgelastet, Strom zu 0,30 € je kWh: etwa 0,18 € je 1.000 Dokumente auf der RTX PRO 6000, 0,41 bis 0,59 € auf einem Mac Studio. Wird die Hardware nur acht Stunden am Tag genutzt, verdreifachen sich diese Kosten, denn Abschreibung läuft auch im Leerlauf.

Über eine Schnittstelle mit Verarbeitung in der EU kostet derselbe Lauf mit Gemma 4 26B A4B bei den günstigsten Angeboten rund 1,20 bis 1,70 € je 1.000 Dokumente – der Erstlauf über 500.000 Dokumente also 600 bis 850 €. Eine Workstation kostet 13.500 bis 22.200 €. Für einen einmaligen Stapel ist die Schnittstelle deshalb fast immer günstiger.

Eigene Hardware lohnt sich, wenn sie dauerhaft arbeitet – laufende Anreicherung, Agenten für mehrere Kollegen, mehrere Modelle nebeneinander –, oder wenn die Daten das Haus nicht verlassen sollen, etwa bei Berufsgeheimnisträgern. Dazwischen liegt die Miete: Eine RTX PRO 6000 gibt es bei europäischen Rechenzentren ab rund 1,25 € je Stunde, als Max-Q im Monatsvertrag ab rund 1.200 € – ohne Kauf, aber mit denselben Vorteilen bei der Parallelität.

Welche Rechnung für Ihr Modell aufgeht, sehen Sie in searchit Models:

• Der Filter Offene Gewichte, selbst betreibbar zeigt die Modelle, die Sie auch auf eigener Hardware betreiben dürfen.
• Der Steckbrief jedes Modells – etwa Gemma 4 26B A4B – nennt Parameter, Kontextlänge, Lizenz und einen Richtwert für den Grafikspeicher bei 4 Bit samt der kleinsten passenden RTX-PRO-Karte. Der Richtwert gilt für die Gewichte mit einem festen Zuschlag; Kontext und gleichzeitige Anfragen brauchen mehr, wie oben gezeigt.
• Der Kostenrechner rechnet Ihre Tokenmenge gegen alle Angebote, getrennt nach Verarbeitung in der EU und außerhalb – die Gegenrechnung zum Kauf.

Bürobetrieb: Lärm, Strom und Wärme

• Workstation mit RTX PRO 6000: Die Karte nimmt unter vLLM bis rund 530 W auf; ein 1.500-W-Netzteil passt an einen üblichen 16-A-Stromkreis. Die Abwärme entspricht einem Heizlüfter auf kleiner Stufe – im Winter ein Feature, im Sommer ... naja. Bei einem Planungswert von 40 dB(A) Hintergrundgeräusch im Ein- und Zweipersonenbüro (deutsche Arbeitsstättenregel ASR A3.7) gehört das Gerät in einen Nebenraum mit Luftzufuhr, nicht an den Arbeitsplatz. Rund um die Uhr kostet der Strom etwa 1.970 € im Jahr, mit der Max-Q etwa 1.180 €.
• KI-Box mit GB10: rund 160 W unter Last, gemessen höchstens 37,5 dB(A) in 46 cm Abstand – sie kann am Arbeitsplatz stehen. Strom rund um die Uhr: etwa 420 € im Jahr.
• Mac Studio: höchstens 480 W, leise; nach einem Stromausfall startet er auf Wunsch von selbst neu.
• Für jeden Stapelbetrieb: eine unterbrechungsfreie Stromversorgung, damit ein Lauf über mehrere Tage nicht an einem Netzwackler scheitert.

Wo searchit ins Spiel kommt

Ein Sprachmodell kann formulieren und schlussfolgern, aber es weiß nichts über Ihr Unternehmen. Dieses Gedächtnis liefert searchit: Dateiserver, Postfächer und Fachanwendungen, durchsuchbar mit den Rechten jedes Benutzers. Welches Modell darauf arbeitet, entscheiden Sie – searchit bindet Sprachmodelle über austauschbare Anbieter an, auch Modelle im eigenen Haus über eine OpenAI-kompatible Schnittstelle, wie sie vLLM, llama.cpp und Ollama bereitstellen.

Zwei der Abläufe aus diesem Beitrag sind die von searchit: Die KI-Anreicherung beim Indizieren – Zusammenfassungen, erkannte Personen und Firmen, Signale – ist ein Stapel mit langen Eingaben. Der searchit AI Agent und fremde Agenten, die über searchit suchen, sind der Fall mit viel Kontext und mehreren Nutzern gleichzeitig. Welche Hardware Sie dafür brauchen, hängt an Bestand, Modell und Zahl der Nutzer – das rechnen wir in einer Vorführung mit Ihnen an Ihrem Fall durch.

Häufige Fragen

Wie viel Grafikspeicher braucht ein lokales LLM?

Für die Gewichte grob die Parameterzahl mal 0,6 GB in 4 Bit – ein Modell mit 26 Milliarden Parametern also rund 16 GB, in 8 Bit rund 26 GB. Dazu kommt der Speicher für den Kontext jeder gleichzeitigen Anfrage. Wer lange Dokumente verarbeitet oder mehrere Nutzer bedient, plant deutlich mehr ein als die reine Modellgröße. Richtwerte je Modell nennt der Steckbrief in searchit Models.

Reicht ein Mac Studio für ein lokales Sprachmodell?

Für eine Person oder wenige Nutzer mit kurzen Fragen: ja, und er fasst mit 256 GB auch sehr große Modelle in einem leisen Gerät. Für lange Eingaben und viele gleichzeitige Anfragen ist eine NVIDIA-Workstation gemessen um ein Vielfaches schneller, weil sie beim Einlesen mehr rechnet und mit vLLM viele Anfragen parallel abarbeitet.

Ist eine DGX Spark schnell genug?

Für Modelle nach dem Prinzip Mixture of Experts und kleine Mengen: ja – mit gpt-oss-120b und 256 gleichzeitigen Anfragen sind zusammen 863 Token/s gemessen. Bei dichten Modellen um 27 Milliarden Parameter begrenzt die Bandbreite von 273 GB/s das Schreiben auf 8 bis 12 Token/s je einzelner Anfrage.

RTX PRO 6000 Max-Q oder Workstation Edition?

Beide haben 96 GB und dieselbe Bandbreite. Die Max-Q braucht die Hälfte an Strom und ist mit Sprachmodellen gemessen 13 bis 19 % langsamer, bei reiner Rechenlast bis zu einem Drittel. Im Büro ist sie meist die bessere Wahl, im klimatisierten Serverraum die Workstation Edition.

Was bedeuten pp512 und tg128?

Das sind die Standardmessungen von llama-bench: pp512 ist die Einlesegeschwindigkeit bei 512 Token Eingabe, tg128 die Schreibgeschwindigkeit bei 128 Token Ausgabe, beides für eine einzelne Anfrage. Für Abläufe mit langen Dokumenten zählt der pp-Wert bei Ihrer tatsächlichen Eingabelänge.

Lohnt sich eigene Hardware gegenüber einer Schnittstelle?

Bei dauerhafter Auslastung oder wenn die Daten das Haus nicht verlassen sollen, ja. Für einen einmaligen Stapel ist eine Schnittstelle mit Verarbeitung in der EU meist günstiger – 500.000 Dokumente kosten dort mit einem mittelgroßen offenen Modell einige hundert Euro. Rechnen Sie beides mit dem Kostenrechner gegen.

Fazit

Kaufen S' Hardware für Ihren Ablauf – net für das größte Modell, das gerade die Runde macht. Wer kurze Fragen für wenige Nutzer beantwortet, ist mit einem Mac Studio oder einer KI-Box leise und günstig bedient. Wer Dokumente verarbeitet, Agenten mit viel Kontext arbeiten lässt oder viele Kollegen gleichzeitig bedient, braucht Rechenleistung beim Einlesen und Software für parallele Anfragen – heute eine Workstation mit RTX PRO 5000 oder 6000 und vLLM. Und wer einen einmaligen Stapel hat, rechnet zuerst gegen eine Schnittstelle in der EU – das spart Nerven und Geld.

Prüfen Sie jede Zahl an Ihrem Ablauf: mit Ihrem Modell, Ihrer Eingabelänge und Ihrer Zahl gleichzeitiger Anfragen. Modelle, Lizenzen und Preise vergleichen Sie in searchit Models; wie searchit Ihr eigenes Modell mit dem Wissen Ihres Hauses verbindet, zeigen wir Ihnen in einer Vorführung.

Verwandte Beiträge: Beste Enterprise-Search-Anbieter 2026 · Was ist AI Enterprise Search?

• Enterprise Search
• KI
• On-Premise
• Vergleich
• DSGVO