Хардуер за локални LLM: кой компютър подхожда на Вашия модел и Вашия работен процес

Който иска да експлоатира голям езиков модел (на английски Large Language Model, LLM) в собствената си организация, обикновено пита първо за видеопаметта. И това наистина е правилният първи въпрос, защото той решава дали един модел изобщо ще работи. Колко бързо моделът ще свърши работата Ви, този въпрос не казва. Компютър с два пъти повече памет може да даде за Вашата задача една десета от производителността – а карта с по-малко памет десет пъти повече. Да, звучи безумно, но е така.

Тази статия подрежда хардуера според въпросите, които правят разликата: от бокса с изкуствен интелект (ИИ) за бюрото през Mac Studio до работната станция с видеокарта на NVIDIA. И показва къде публикуваните измервания престават да казват нещо за Вашия работен процес – тоест точно там, където става интересно.

Накратко: какво за кого е подходящо

• Малко потребители, кратки въпроси, тихо работно място: Достатъчни са Mac Studio или ИИ бокс от класа на NVIDIA DGX Spark. И двете устройства побират и големи модели и стоят на бюрото без шум от вентилатори.
• Дълги входни данни – документи, резултати от търсене, агенти – или много заявки едновременно: За това е създадена работна станция с видеокарта на NVIDIA от серията RTX PRO. Със софтуера за обслужване vLLM тя обработва десетки заявки едновременно и по измервания дава многократно повече – дори с по-малко памет от голям Mac.
• Еднократна голяма партида: Първо пресметнете използването на модела чрез програмен интерфейс с обработка в ЕС. Собственият хардуер се изплаща при постоянно натоварване – или там, където данните не бива да напускат организацията.

Трите въпроса преди покупката

1. Кой модел? Размерът и архитектурата определят нуждата от памет. Модел с около 26 милиарда параметъра заема при 4 бита около 16 GB, при 8 бита около 26 GB. Моделите по принципа Mixture of Experts (MoE) изчисляват всеки токен само с част от параметрите си – малко като голям екип, в който никога не говорят всички едновременно. При генерирането те са бързи, но в паметта все пак стоят всички параметри.
2. Колко дълги са входните данни? Всеки токен, който моделът трябва да прочете, струва изчислително време и заема допълнително памет. Кратък въпрос в чат е нещо различно от агент, който чете 20 000 токена резултати от търсене и откъси от документи.
3. Колко заявки едновременно? Един човек в чата, десет колеги с агент или партида от 500 000 документа – това са три различни профила на натоварване и те изискват различен хардуер.

Четене и генериране: две различни тесни места

Езиковият модел обработва всяка заявка в две стъпки:

• Четене (на английски prefill): Моделът обработва целия вход наведнъж. Това е голяма изчислителна задача – тук е важна изчислителната мощност на графичния процесор.
• Генериране (на английски decode): Моделът създава отговора токен по токен и за целта всеки път чете теглата си от паметта. Тук е важна пропускателната способност на паметта.

Колко ясно се разделят двете, показват референтните измервания на llama.cpp върху чиповете на Apple: преходът от 20 на 40 графични ядра удвоява четенето (1,99 пъти), а двойно по-голямата пропускателна способност на паметта ускорява генерирането 1,72 пъти.

А сега идва най-важното правило на тази статия: Размерът на паметта решава дали един модел се побира. Колко бързо работи, решават изчислителната мощност и пропускателната способност – и коя от двете стъпки преобладава във Вашия работен процес.

Контекст: когато входът стане дълъг

При кратък въпрос в чата четенето трае части от секундата; чака се генерирането. Друго е, щом моделът започне да работи с документи: обобщение с извличане на данни лесно чете 7500 токена на документ, стъпка на агент с резултати от търсене – от 10 000 до 30 000. Тогава четенето става тясното място.

Един и същ модел с 27 милиарда параметъра при 4 бита, около 6100 токена вход, измерен от MacStories:

При генерирането трите устройства са близо едно до друго, при четенето се различават седем пъти. За стъпка на агент с 20 000 токена вход от това следва – изчислено, за модела Gemma 4 26B A4B – време за четене от около 0,6 секунди на RTX PRO 6000, 1,2 секунди на RTX PRO 5000 и грубо от 3 до 12 секунди на Mac Studio M5 Ultra. Един агент прави по няколко такива стъпки на въпрос.

Контекстът струва и памет. Това, което остава свободно до теглата, поема междинната памет за всяка заявка (KV-Cache, от Key-Value) – и така ограничава колко дълги заявки могат да вървят едновременно. Gemma 4 26B A4B при 8 бита заема около 26 GB. На карта с 96 GB остават около 70 GB за контекста, с 48 GB – около 20 GB, с 32 GB – само около 5 GB.

Паралелност: истинската разлика

При една заявка в даден момент Mac Studio и работна станция на NVIDIA са по-близо една до друга, отколкото подсказва цената. Разликата се появява, щом няколко заявки вървят едновременно:

На картата на NVIDIA vLLM обработва десетки заявки едновременно. На Mac групирането на заявки – измерено с llama.cpp – помага само на генерирането, а четенето на дълги входове на практика върви последователно. За Mac наистина има vLLM плъгин (vllm-metal), но за големи модели все още няма публикувано измерване с много едновременни заявки.

ИИ боксовете с NVIDIA GB10 са по средата: с MoE модел като gpt-oss-120b те се мащабират добре, с плътен 27B модел спирачка е пропускателната способност от 273 GB/s – с десет едновременни заявки са измерени общо от 58 до 84 токена/s.

Граници на измерването: какво мери един бенчмарк – и какво не

Повечето числа във форуми и тестове са измерени правилно. Само че често измерват нещо различно от Вашия работен процес. Това се случва по-често, отколкото си мислим. Шест въпроса, преди да се доверите на едно число:

1. Коя стъпка? llama-bench, инструментът за измерване на llama.cpp, извежда две стойности: pp за четенето (prompt processing) и tg за генерирането (text generation). Без допълнителни параметри той мери 512 токена вход и 128 токена изход, една заявка, празен контекст. „tg128: 57 токена/s“ не казва нищо за това колко време отнемат 20 000 токена вход. Търсете стойността pp при Вашата дължина на входа – pp8192 вместо pp512.
2. Една заявка или много? Пиковата стойност на една-единствена заявка не е точка на натоварване. Питайте за измервания с толкова едновременни заявки, колкото има при Вас – и за времето до първия токен.
3. Същият модел, същият формат? Qwen3.6-27B при 8 бита не е Qwen3.8-27B при 4 бита. Един и същ клас по размер не означава едно и също число; 4-битовите версии са по-малки и обикновено по-бързи.
4. Кой софтуер, в коя версия? На Mac Studio M3 Ultra четенето при 8192 токена спадна след обновяване на llama.cpp от около 2106 на 1183 токена/s – същият хардуер, същият модел, друга версия на софтуера.
5. Кой е измервал? Много от числата за Mac са единични пускания от общността без данни за разсейването. Данни на производителите като „AI TOPS“ са пикови стойности при 4 бита, а не реална производителност.
6. Какво липсва? За M5 Ultra няма измерване с много едновременни заявки, за RTX PRO 5000 – нито едно с Gemma 4. Където липсва число, всяка екстраполация е предположение.

Най-чистото сравнение е това с един и същ инструмент и едни и същи параметри – тук gpt-oss-120b с llama-bench, 8192 токена вход и 128 токена изход, една заявка:

Най-надеждно е собственото измерване: с Вашия модел, Вашата дължина на входа и толкова едновременни заявки, колкото в реалната експлоатация – например llama-bench -m modell.gguf -p 8192 -n 512 за една заявка и инструмента за натоварване на Вашия софтуер за обслужване за много заявки, при vLLM – vllm bench serve.

Класовете хардуер накратко

Цените на работните станциите се отнасят за Dell Pro Max Tower T2, в който картите се монтират още във фабриката, с Linux и сервиз на място; HP и Lenovo предлагат сравними работни станции, а системни интегратори ги сглобяват по заявка.

Две бележки към класовете:

• Mac Studio: macOS по подразбиране дава на графичната част само част от общата памет – измерено 78 % при Mac с 32 GB и 84 % при Mac със 128 GB. Делът може да се увеличи (sysctl iogpu.wired_limit_mb), но самата macOS се нуждае от 8 до 16 GB. Като сървър на Mac му липсват чип за отдалечено управление и изрично обявена памет с корекция на грешки (на английски Error-Correcting Code, ECC); Linux на актуалните чипове изобщо не работи или работи без графично ускорение.
• RTX PRO 6000 Max-Q или Workstation Edition: Паметта и пропускателната способност са еднакви, Max-Q консумира 300 вместо 600 W. С езикови модели тя е измерено с 13–19 % по-бавна (сравнението с llama-bench по-горе), при чисто изчислително натоварване – до една трета. За работа в офиса половината отделяна топлина обикновено е по-добрата размяна – климатикът Ви ще Ви благодари.

Пример: обогатяване на 500 000 документа

Типична партида: 500 000 документа, за всеки документ обобщение и извличане на лица, фирми и суми като структурирани данни – около 7500 токена вход и 1500 токена изход, без reasoning, с модела Gemma 4 26B A4B. Изведено от измерванията по-горе:

Gemma 4 26B A4B е измерен само на RTX PRO 6000 с 600 W; останалите редове са екстраполирани от измервания на сродни устройства и модели, а диапазоните показват несигурността.

Три неща правят впечатление:

• Повече памет тук не носи производителност. При 4 бита моделът заема около 16 GB – още версията на Mac с 96 GB остава празна на три четвърти. Mac с 512 GB не обработва тази партида по-бързо от такъв с 256 GB.
• Три Mac за около 20 000 € дават приблизително от една трета до малко под половината от производителността на една-единствена работна станция с RTX PRO 6000 на подобна цена. Разумно е партидата да се разпредели между няколко Mac, всеки със собствена инстанция; свързването им през Thunderbolt помага да се поберат огромни модели, но не и за производителността при партиди.
• След първоначалното обработване ежедневието е безпроблемно. 1000 нови документа на ден RTX PRO 6000 обработва за около 12 минути, RTX PRO 5000 – за 25 до 30 минути, Mac Studio – за 1,5 до 2 часа. Разликата тогава я прави използването от агенти и колеги.

Да купите, да наемете или чрез програмен интерфейс?

Собственият хардуер е евтин на документ – докато работи. Изведено за 36 месеца, при денонощно натоварване и ток по 0,30 € за kWh: около 0,18 € за 1000 документа на RTX PRO 6000, от 0,41 до 0,59 € на Mac Studio. Ако хардуерът се използва само осем часа на ден, тези разходи се утрояват, защото амортизацията тече и при празен ход.

Чрез програмен интерфейс с обработка в ЕС същото пускане с Gemma 4 26B A4B при най-изгодните оферти струва около 1,20 до 1,70 € за 1000 документа – първоначалното обработване на 500 000 документа значи от 600 до 850 €. Една работна станция струва от 13 500 до 22 200 €. Затова за еднократна партида програмният интерфейс почти винаги е по-изгоден.

Собственият хардуер си заслужава, когато работи постоянно – текущо обогатяване, агенти за няколко колеги, няколко модела един до друг, – или когато данните не бива да напускат организацията, например при лица, обвързани с професионална тайна. По средата е наемането: RTX PRO 6000 се предлага в европейски центрове за данни от около 1,25 € на час, като Max-Q с месечен договор – от около 1200 €, без покупка, но със същите предимства при паралелността.

Коя сметка излиза за Вашия модел, ще видите в searchit Models:

• Филтърът Отворени тегла, за собствена експлоатация (на английски) показва моделите, които имате право да експлоатирате и на собствен хардуер.
• Профилът на всеки модел – например Gemma 4 26B A4B – посочва параметри, дължина на контекста, лиценз и ориентировъчна стойност за видеопаметта при 4 бита заедно с най-малката подходяща карта RTX PRO. Ориентировъчната стойност важи за теглата с фиксирана добавка; контекстът и едновременните заявки изискват повече, както е показано по-горе.
• Калкулаторът на разходите пресмята Вашето количество токени спрямо всички оферти, отделно за обработка в ЕС и извън нея – контрасметката към покупката.

Работа в офиса: шум, ток и топлина

• Работна станция с RTX PRO 6000: Под vLLM картата консумира до около 530 W; захранване от 1500 W е подходящо за обичаен токов кръг от 16 A. Отделяната топлина отговаря на вентилаторна печка на ниска степен – през зимата това е предимство, през лятото… е, по-малко. При проектна стойност от 40 dB(A) фонов шум в офис за един или двама души (германското правило за работните места ASR A3.7) устройството трябва да е в съседно помещение с приток на въздух, а не на работното място. При денонощна работа токът струва около 1970 € годишно, с Max-Q – около 1180 €.
• ИИ бокс с GB10: около 160 W под натоварване, измерени най-много 37,5 dB(A) на разстояние 46 cm – може да стои на работното място. Ток при денонощна работа: около 420 € годишно.
• Mac Studio: най-много 480 W, тих; след прекъсване на тока при желание се стартира отново сам.
• За всяка пакетна обработка: източник на непрекъсваемо захранване, за да не се провали пускане, продължаващо няколко дни, заради краткотрайно смущение в мрежата.

Къде се включва searchit

Езиковият модел може да формулира и да прави изводи, но не знае нищо за Вашата компания. Тази памет дава searchit: файлови сървъри, пощенски кутии и бизнес приложения, достъпни за търсене с правата на всеки потребител. Кой модел работи върху това, решавате Вие – searchit свързва езикови модели чрез взаимозаменяеми доставчици, включително модели в собствената организация чрез OpenAI-съвместим интерфейс, какъвто предоставят vLLM, llama.cpp и Ollama.

Два от работните процеси в тази статия са тези на searchit: ИИ обогатяването при индексиране – обобщения, разпознати лица и фирми, сигнали – е партида с дълги входове. searchit AI Agent и чуждите агенти, които търсят чрез searchit, са случаят с много контекст и няколко потребители едновременно. Какъв хардуер Ви трябва за това, зависи от масива от данни, модела и броя на потребителите – това ще пресметнем заедно с Вас за Вашия случай в демонстрация.

Често задавани въпроси

Колко видеопамет е нужна на локален LLM?

За теглата грубо броят на параметрите в милиарди по 0,6 GB при 4 бита – модел с 26 милиарда параметъра значи около 16 GB, при 8 бита около 26 GB. Към това се добавя паметта за контекста на всяка едновременна заявка. Който обработва дълги документи или обслужва много потребители, планира значително повече от чистия размер на модела. Ориентировъчни стойности за всеки модел дава профилът в searchit Models.

Достатъчен ли е Mac Studio за локален езиков модел?

За един човек или малко потребители с кратки въпроси: да, и с 256 GB той побира и много големи модели в едно тихо устройство. За дълги входове и много едновременни заявки работна станция на NVIDIA е по измервания многократно по-бърза, защото при четенето изчислява повече и с vLLM обработва много заявки паралелно.

Достатъчно бърз ли е DGX Spark?

За модели по принципа Mixture of Experts и малки обеми: да – с gpt-oss-120b и 256 едновременни заявки са измерени общо 863 токена/s. При плътни модели от около 27 милиарда параметъра пропускателната способност от 273 GB/s ограничава генерирането до 8 до 12 токена/s за всяка отделна заявка.

RTX PRO 6000 Max-Q или Workstation Edition?

И двете имат 96 GB и еднаква пропускателна способност. Max-Q консумира наполовина по-малко ток и с езикови модели е измерено с 13–19 % по-бавна, при чисто изчислително натоварване – до една трета. В офиса тя обикновено е по-добрият избор, в климатизираното сървърно помещение – Workstation Edition.

Какво означават pp512 и tg128?

Това са стандартните измервания на llama-bench: pp512 е скоростта на четене при 512 токена вход, tg128 – скоростта на генериране при 128 токена изход, и двете за една-единствена заявка. За работни процеси с дълги документи значение има стойността pp при реалната Ви дължина на входа.

Изгоден ли е собственият хардуер в сравнение с програмен интерфейс?

При постоянно натоварване или ако данните не бива да напускат организацията – да. За еднократна партида програмен интерфейс с обработка в ЕС обикновено е по-изгоден – там 500 000 документа с отворен модел със среден размер струват няколкостотин евро. Сравнете двата варианта с калкулатора на разходите.

Заключение

Купувайте хардуер за Вашия работен процес – а не за най-големия модел, за който всички говорят в момента. Който отговаря на кратки въпроси за малко потребители, е обслужен тихо и изгодно с Mac Studio или ИИ бокс. Който обработва документи, оставя агенти да работят с много контекст или обслужва много колеги едновременно, се нуждае от изчислителна мощност при четенето и софтуер за паралелни заявки – днес това е работна станция с RTX PRO 5000 или 6000 и vLLM. А който има еднократна партида, първо прави сметка спрямо програмен интерфейс в ЕС – това спестява нерви и пари.

Проверете всяко число с Вашия работен процес: с Вашия модел, Вашата дължина на входа и Вашия брой едновременни заявки. Модели, лицензи и цени сравнявате в searchit Models; как searchit свързва Вашия собствен модел със знанието на Вашата организация, ще Ви покажем в демонстрация.

Свързани статии: Най-добрите системи за корпоративно търсене 2026: сравнение на enterprise search решения за Европа · Какво е Enterprise AI Search? Следващото ниво на корпоративното търсене (на английски)

• Enterprise Search
• Сравнение
• On-premise
• Изкуствен интелект