Průvodce místním AI hardwarem (2026)

Co toto video pokrývá

• 20x pokles propustnosti paměti: 936 GB/s GDDR6X vs 50 GB/s DDR5 & 31,5 GB/s PCIe
• Dimenze modelu @ 4 bity: 8B (5GB), 14B (10GB), 32B (20GB), 70B (40GB)
• Úroveň 1 (1 200–1 500 $): RTX 4060 Ti 16GB (nikdy 8GB) nebo Mac Mini 16GB
• Úroveň 2 (1 500–2 000 $): Použitá RTX 3090 24GB je ideální volba nebo Mac Mini M4 Pro 64GB
• Úroveň 3 (3 500 $+): RTX 4090 24GB / duální 3090 nebo Mac Studio Ultra

Přeložený přepis

Přeloženo z původního anglického vyprávění. Dostupné audio a titulky jsou řízeny YouTube.

0:00 Pokud plánujete sestavit PC pro spouštění lokálních AI agentů, přestaňte sestavovat herní stroj. Nepotřebujete Core i9 s pěti celými osmi gigahertzy, kapalinové chlazení, nebo osm gigabajtovou grafickou kartu pokrytou RGB. V lokální AI inferenci jsou herní specifikace prakticky k ničemu. Jediná metrika, která určuje, zda váš agent běží nebo se plazí, je kapacita VRAM a propustnost paměťové sběrnice. Pravidla hardwarového testu: zapomeňte na takty CPU a benchmarky rasterizace.

0:24 Zajímají nás tři čísla: šířka paměťové sběrnice, propustnost v gigabajtech za sekundu a surový prostor VRAM pro nafouknutí KV cache. V tomto terénním testu rozeberu dvacetinásobný pokles propustnosti paměti, namapuji pravidla pro dimenzování modelu, otestuji tři reálné úrovně od dvanácti set dolarů do pěti tisíc a vysvětlím, proč je použitá 3090 stále největším cheat kódem ve výpočetní technice. Toto je terénní test The Daily Diff. Abyste pochopili, proč herní stroje selhávají, podívejte se, jak skutečně probíhá generování tokenů. Ve hrách CPU dodává vykreslovací příkazy a GPU vykresluje snímky.

0:54 Ale autoregresivní dekódování LLM je téměř čistě omezeno propustností paměti. Pro generování jednoho tokenu musí GPU streamovat každý váhový parametr modelu z paměti přes svá výpočetní jádra. Pokud má váš model deset gigabajtů, vytvoření jednoho tokenu znamená čtení deseti gigabajtů dat. Na Nvidia RTX 3090 s 384bitovou paměťovou sběrnicí, získáte 936 gigabajtů za sekundu propustnosti GDDR6X, produkující osmdesát tokenů za sekundu. Ale sledujte, co se stane v okamžiku, kdy váš model překročí fyzickou VRAM.

1:22 Když se VRAM zaplní, runtimy odkládají zbývající vrstvy přes sběrnici PCIe do systémové paměti DDR5. Vaše GPU jádra očekávají tisíc gigabajtů za sekundu. Místo toho jim dvoukanálová DDR5 dodá padesát a PCIe 4 se udusí na třiceti jedné. To je dvacetinásobný kolaps propustnosti. Pipeline generování tokenů se okamžitě zastaví čekáním na sběrnici, a rychlost klesne ze čtyřiceti tokenů za sekundu na jeden a půl. Z dvoutisícidolarového stroje jste udělali topení.

1:47 A je to horší během vícenásobných běhů agentů, protože váhy jsou jen půlka bitvy. Každá výzva, volání nástroje a fragment souboru se ukládají do cache klíč-hodnota. Okno kontextu s třiceti dvěma tisíci může spotřebovat čtyři až osm gigabajtů VRAM navíc k váhám. Pokud má vaše karta jen šestnáct gigabajtů, váš agent se zacyklí dvakrát, narazí na kontextovou zeď a buď spadne s chybou nedostatku paměti, nebo se překlopí do DDR5. Zde je tahák pro dimenzování na 4 bity. Model s parametry sedm nebo osm miliard, jako Llama 3.1 nebo DeepSeek Distill,

2:16 zabere asi pět gigabajtů. Čtrnáctimiliardový model zabere deset gigabajtů. Model s třiceti dvěma miliardami, inteligenční zlatá střední cesta pro kódovací agenty, vyžaduje dvacet gigabajtů. A sedmdesátimiliardový hraniční model vyžaduje čtyřicet gigabajtů, než vůbec alokujete kontext. Což nás přivádí k samotným hardwarovým sestavám. Úroveň 1 je startovní sestava, dvanáct set až patnáct set dolarů. Na PC je vaším pilířem RTX 4060 Ti 16-gigabajtová.

2:39 Kritické varování: nikdy nekupujte osmigigabajtovou verzi, abyste ušetřili sedmdesát dolarů. Osm gigabajtů VRAM v roce 2026 je okamžitý rozsudek smrti z nedostatku paměti na jakémkoli reálném pracovním postupu agenta. Spárujte ji s šestijádrovým Ryzen 5, šedesáti čtyřmi gigabajty DDR5, a dvouterabajtovým NVMe diskem. V zemi Apple je ekvivalentem Mac Mini nebo MacBook Pro s šestnácti gigabajty sjednocené paměti.

3:02 U osmimiliardových modelů uvidíte čtyřicet až padesát tokenů za sekundu. Úroveň 2 je zlatá střední cesta pro náročné uživatele: sestava speciálně navržená pro spouštění třiceti dvou miliardových modelů, jako je Qwen 2.5 32B. Cesta A je nová RTX 4070 Ti Super s šestnácti gigabajty za osm set dolarů. Ale cesta B je mé silné doporučení: kupte použitou Nvidia RTX 3090 s dvaceti čtyřmi gigabajty. Čisté 3090 najdete na eBay za šest set padesát až sedm set padesát dolarů. To vám dává dvacet čtyři gigabajtů VRAM na masivní 384bitové sběrnici, která tlačí

3:33 936 gigabajtů za sekundu. Dolar za dolarem je to nejlepší nabídka VRAM ve výpočetní technice. Na macOS je protějškem Tier 2 Mac Mini M4 Pro s šedesáti čtyřmi gigabajty sjednocené paměti. Produkuje jedenáct až dvanáct tokenů za sekundu na třiceti dvoumiliardovém modelu: pomalejší než Nvidia, ale naprosto tichý při třiceti wattech s prostorem pro obrovské kontextové okno. Úroveň 3 je pro nadšence s roji multi-agentů. Na PC to znamená RTX 4090 s dvaceti čtyřmi gigabajty,

3:57 Ryzen 9 a sto dvacet osm gigabajtů RAM, nebo duální RTX 3090 poskytující čtyřicet osm gigabajtů celkové VRAM. V řadě Apple je to Mac Studio Ultra s devadesáti šesti až sto dvaceti osmi gigabajty sjednocené paměti. Superschopností je rezidence v paměti: můžete mít embeddingový model, rychlý router a 32miliardový kódovací model načtené současně s nulovou prodlevou výměny. Nyní k upřímnému selhání našeho terénního testu: past edge computingu.

4:24 Každý týden se na sociálních sítích objeví příspěvek, že můžete spouštět autonomní kódovací agenty na osmdesátidolarovém Raspberry Pi 5. Testoval jsem to. Spuštění malého modelu s jedním a půl miliardou parametrů vám dá sotva tři tokeny za sekundu, zatímco deska se škrtí na osmdesáti pěti stupních Celsia. Je to pěkná víkendová hračka, ale jako denní vývojový ovladač, je to čistý trest. Pro software použijte Ollamu, pokud chcete čistý démon příkazového řádku, který se připojuje

4:47 přímo k Cursor, Cline nebo VS Code. Pokud chcete grafické hřiště s modelovými stahováními a posuvníky vrstev GPU, použijte LM Studio. A přizpůsobte formát svému křemíku. Na Apple Silicon vždy stahujte modely GGUF optimalizované pro Metal. Na Windows nebo Linuxu s Nvidia stahujte modely AWQ nebo EXL2, které využívají Nvidia Tensor Cores pro o dvacet až třicet procent rychlejší inferenci. Jak to tedy nasadit, aniž byste se zruinovali?

5:11 Představte si lokální hardware jako domácí posilovnu versus komerční posilovnu. Mít doma squat rack znamená, že trénujete každý den bez dojíždění, bez poplatků za předplatné a s naprostým soukromím. Váš lokální stroj zvládne osmdesát procent vašeho denního kódování, testování jednotek a zpracování soukromých dokumentů za nula dolarů za token. A když potřebujete zvednout pět set liber – jako masivní refaktor architektury napříč padesáti soubory – navštívíte komerční posilovnu: zaplatíte cloudové API za Claude 3.5 Sonnet nebo OpenAI o3 na patnáct minut

5:38 a jdete dál. Zde je účet: sestava Úrovně 2 s použitou 3090 stojí celkem šestnáct set dolarů. Pokud utratíte padesát až sto dolarů měsíčně za API tokeny, zaplatí se vám do osmnácti měsíců, zatímco váš proprietární kód zůstane mimo servery třetích stran. Verdikt dnešního terénního testu: SHIP IT. VRAM a propustnost paměti pokaždé porazí taktovací frekvence. Přestaňte kupovat pěti gigahertzové procesory pro AI a najděte si použitou 3090.

6:04 Řekněte mi, jakou hardwarovou sestavu používáte pro lokální modely v komentářích. A pokud byste si raději přečetli tento rozbor, vezměte si newsletter na the daily diff dot dev, odkaz níže. A to je dnešní rozdíl. Jsem Niko z Axrisi. Slučujte zodpovědně.

Zdroje

1. Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PCaxrisi.com
2. NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)www.nvidia.com
3. llama.cpp Memory Bandwidth & Offloading Architecturegithub.com
4. Ollama Model Library & Benchmarksollama.com
5. vLLM PagedAttention & KV Cache Memory Managementgithub.com
6. JEDEC DDR5 Memory Standard Specificationswww.jedec.org