មគ្គុទ្ទេសក៍ផ្នែករឹង AI ក្នុងស្រុក (2026)
នៅពេលបង្កើតម៉ាស៊ីនសម្រាប់ភ្នាក់ងារ AI ក្នុងស្រុក និង LLM ទម្ងន់បើកចំហ អ្នកអភិវឌ្ឍន៍តែងតែធ្វើខុសដោយទិញលក្ខណៈពិសេសរបស់កុំព្យូទ័រលេងហ្គេម៖ CPU 5.8 GHz, ឧបករណ៏ត្រជាក់រាវតាមបំណង, និង GPU លេងហ្គេមលឿនដែលមាន VRAM ត្រឹមតែ 8GB ប៉ុណ្ណោះ។
នៅពេលបង្កើតម៉ាស៊ីនសម្រាប់ភ្នាក់ងារ AI ក្នុងស្រុក និង LLM ទម្ងន់បើកចំហ អ្នកអភិវឌ្ឍន៍តែងតែធ្វើខុសដោយទិញលក្ខណៈពិសេសរបស់កុំព្យូទ័រលេងហ្គេម៖ CPU 5.8 GHz, ឧបករណ៏ត្រជាក់រាវតាមបំណង, និង GPU លេងហ្គេមលឿនដែលមាន VRAM ត្រឹមតែ 8GB ប៉ុណ្ណោះ។ ប៉ុន្តែការបង្កើតនិមិត្តសញ្ញាដោយខ្លួនឯង គឺត្រូវបានកំណត់ដោយកម្រិតបញ្ជូនអង្គចងចាំ មិនមែនដោយការគណនាទេ៖ ដើម្បីបញ្ចេញនិមិត្តសញ្ញាមួយ គ្រប់ទម្ងន់នៅក្នុងម៉ូដែលត្រូវតែបញ្ជូនឆ្លងកាត់ bus អង្គចងចាំ។ នៅពេលដែលទម្ងន់ ឬបរិបទឃ្លាំងសម្ងាត់ KV របស់អ្នកលើសពី VRAM រូបវន្ត ពេលវេលាដំណើរការនឹងបញ្ចេញស្រទាប់ទៅប្រព័ន្ធ DDR5 តាមរយៈ PCIe ហើយអ្នកនឹងជួបប្រទះនូវការធ្លាក់ចុះកម្រិតបញ្ជូនអង្គចងចាំ 20x៖ ល្បឿនធ្លាក់ចុះពី 40 និមិត្តសញ្ញាក្នុងមួយវិនាទី មកត្រឹម 1.5 និមិត្តសញ្ញា។ នៅក្នុងការសាកល្បងវាលនេះ Niko នឹងពន្យល់ពីយន្តការផ្នែករឹង ច្បាប់ទំហំម៉ូដែល 4-bit quantization កម្រិតថវិកាជាក់ស្តែងចំនួនបីពី 1,200 ដុល្លារ ទៅ 5,000 ដុល្លារ ហេតុអ្វីបានជា RTX 3090 24GB ជជុះ គឺជាតម្លៃ VRAM ក្នុងមួយដុល្លារល្អបំផុតក្នុងការគណនា អន្ទាក់ Raspberry Pi edge និងយុទ្ធសាស្ត្រកន្លែងហាត់ប្រាណនៅផ្ទះសម្រាប់ការ推론ក្នុងស្រុកធៀបនឹងពពក។ សាលក្រម៖ SHIP IT។
អានបោះពុម្ពជាលាយលក្ខណ៍អក្សរ (អង់គ្លេស) ↗
អ្វីដែលវីដេអូនេះគ្របដណ្ដប់
- ការធ្លាក់ចុះកម្រិតបញ្ជូនអង្គចងចាំ 20x៖ 936 GB/s GDDR6X ទល់នឹង 50 GB/s DDR5 & 31.5 GB/s PCIe
- ទំហំម៉ូដែល @ 4-bit: 8B (5GB), 14B (10GB), 32B (20GB), 70B (40GB)
- កម្រិត 1 ($1,200–$1,500): RTX 4060 Ti 16GB (មិនដែល 8GB) ឬ Mac Mini 16GB
- កម្រិត 2 ($1,500–$2,000): RTX 3090 24GB ជជុះ ល្អបំផុត ឬ Mac Mini M4 Pro 64GB
- កម្រិត 3 ($3,500+): RTX 4090 24GB / 3090s ពីរ ឬ Mac Studio Ultra
កំណត់ត្រាដែលបានបកប្រែ
បកប្រែចេញពីការនិទានដើមជាភាសាអង់គ្លេស។ សំឡេង និងចំណងជើងរងដែលមានគឺស្ថិតនៅក្រោមការគ្រប់គ្រងរបស់ YouTube។
0:00 ប្រសិនបើអ្នកកំពុងមានគម្រោងបង្កើត PC ដើម្បីដំណើរការភ្នាក់ងារ AI ក្នុងស្រុក ឈប់សាងសង់ឧបករណ៍លេងហ្គេម។ អ្នកមិនចាំបាច់មាន Core i9 ប្រាំចំណុចប្រាំបី ជីហ្គាហឺត ឧបករណ៏ត្រជាក់រាវ ឬកាតក្រាហ្វិកប្រាំបីជីហ្គាបៃ ដែលគ្របដណ្តប់ដោយ RGB ទេ។ ក្នុងការ推론 AI ក្នុងស្រុក លក្ខណៈពិសេសនៃការលេងហ្គេមគឺស្ទើរតែគ្មានប្រយោជន៍។ រង្វាស់តែមួយគត់ដែលកំណត់ថាតើភ្នាក់ងាររបស់អ្នកដំណើរការ ឬរវើរវាយ គឺសមត្ថភាព VRAM និងកម្រិតបញ្ជូន bus អង្គចងចាំ។ ច្បាប់នៃការសាកល្បងផ្នែករឹង៖ ភ្លេចនាឡិកា CPU និងស្តង់ដារ rasterization។
0:24 យើង quan ใจលេខបី៖ ទទឹង bus អង្គចងចាំ កម្រិតបញ្ជូនជាជីហ្គាបៃក្នុង មួយវិនាទី និងទំហំ VRAM ឆៅសម្រាប់ KV cache bloat។ ក្នុងការសាកល្បងវាលនេះ ខ្ញុំនឹងពន្យល់ពីការធ្លាក់ចុះកម្រិតបញ្ជូនអង្គចងចាំម្ភៃដង គូសផែនទីច្បាប់ទំហំម៉ូដែល វាស់ស្តង់ដារបីកម្រិតជាក់ស្តែងពីមួយពាន់ពីររយ ដុល្លារ ទៅប្រាំពាន់ដុល្លារ និងពន្យល់ពីមូលហេតុដែល 3090 ជជុះ នៅតែជាលេខកូដបន្លំដ៏អស្ចារ្យបំផុត នៃការគណនា។ នេះគឺជា The Daily Diff, ការសាកល្បងវាល។ ដើម្បីយល់ពីមូលហេតុដែលឧបករណ៍លេងហ្គេមបរាជ័យ សូមមើលពីរបៀបដែលការបង្កើតនិមិត្តសញ្ញាពិតជា ដំណើរការ។ នៅក្នុងហ្គេម CPU របស់អ្នកបញ្ជូនការហៅគូរ និង GPU របស់អ្នក render frames។
0:54 ប៉ុន្តែការឌិកូដ LLM ដោយខ្លួនឯង គឺស្ទើរតែជាកម្រិតបញ្ជូនអង្គចងចាំ សុទ្ធសាធ។ ដើម្បីបង្កើតនិមិត្តសញ្ញាមួយ GPU ត្រូវតែបញ្ជូនប៉ារ៉ាម៉ែត្រទម្ងន់នីមួយៗនៃ ម៉ូដែលពីអង្គចងចាំឆ្លងកាត់ស្នូលគណនារបស់វា។ ប្រសិនបើម៉ូដែលរបស់អ្នកមានដប់ជីហ្គាបៃ ការផលិតនិមិត្តសញ្ញាមួយមានន័យថាការអានទិន្នន័យដប់ជីហ្គាបៃ។ នៅលើ Nvidia RTX 3090 ដែលមាន bus អង្គចងចាំ 384-bit អ្នកទទួលបាន 936 ជីហ្គាបៃក្នុងមួយវិនាទីនៃកម្រិតបញ្ជូន GDDR6X បង្កើតប៉ែតសិបនិមិត្តសញ្ញាក្នុងមួយវិនាទី។ ប៉ុន្តែសូមមើលអ្វីដែលកើតឡើងនៅពេលដែលម៉ូដែលរបស់អ្នកលើសពី VRAM រូបវន្ត។
1:22 នៅពេល VRAM ពេញ ពេលវេលាដំណើរការនឹងបញ្ចេញស្រទាប់ដែលនៅសល់ឆ្លងកាត់ bus PCIe ទៅកាន់ អង្គចងចាំប្រព័ន្ធ DDR5។ ស្នូល GPU របស់អ្នករំពឹងទុកមួយពាន់ជីហ្គាបៃក្នុងមួយវិនាទី។ ផ្ទុយទៅវិញ DDR5 dual-channel ផ្តល់ឱ្យពួកគេហាសិប និង PCIe 4 ស្ទះនៅសាមសិបមួយ។ នោះគឺជាការធ្លាក់ចុះកម្រិតបញ្ជូនម្ភៃដង។ បំពង់បង្ហូរការបង្កើតនិមិត្តសញ្ញាបង្កកភ្លាមៗរង់ចាំនៅលើ bus ហើយល្បឿនធ្លាក់ចុះពីសែសិបនិមិត្តសញ្ញាក្នុងមួយវិនាទី មកត្រឹមមួយចំណុចប្រាំ។ អ្នកបានបង្វែរឧបករណ៍តម្លៃពីរពាន់ដុល្លារ ទៅជាកំដៅអវកាស។
1:47 ហើយវាកាន់តែអាក្រក់ទៅៗក្នុងអំឡុងពេលដំណើរការភ្នាក់ងារច្រើនវេន ព្រោះទម្ងន់គ្រាន់តែជាពាក់កណ្តាល នៃការប្រយុទ្ធប៉ុណ្ណោះ។ រាល់ prompt, tool call, និង file chunk ត្រូវបានរក្សាទុកក្នុងឃ្លាំងសម្ងាត់ Key-Value ។ បង្អួចបរិបទសាមសិបពីរគីឡូបៃ អាចស៊ី VRAM បួនទៅប្រាំបីជីហ្គាបៃ បន្ថែមលើទម្ងន់។ ប្រសិនបើកាតរបស់អ្នកមានត្រឹមតែដប់ប្រាំមួយជីហ្គាបៃ ភ្នាក់ងាររបស់អ្នកនឹងរត់ពីរដង ប៉ះជញ្ជាំងបរិបទ ហើយ either គាំងដោយសារកំហុសអស់អង្គចងចាំ ឬកំពប់ ចូលទៅក្នុង DDR5។ នេះគឺជាសន្លឹកបន្លំទំហំ 4-bit។ ម៉ូដែលប៉ារ៉ាម៉ែត្រប្រាំពីរ ឬប្រាំបីពាន់លានដូចជា Llama 3.1 ឬ DeepSeek Distill
2:16 ប្រើប្រាស់ប្រហែលប្រាំជីហ្គាបៃ។ ម៉ូដែលដប់បួនពាន់លានប្រើប្រាស់ដប់ជីហ្គាបៃ។ ម៉ូដែលសាមសិបពីរពាន់លាន ដែលជាចំណុចល្អបំផុតនៃភាពវៃឆ្លាតសម្រាប់ភ្នាក់ងារសរសេរកូដ ត្រូវការម្ភៃជីហ្គាបៃ។ ហើយម៉ូដែល frontier ចិតសិបពាន់លានទាមទារសែសិបជីហ្គាបៃ មុនពេលអ្នក បែងចែកបរិបទ។ ដែលនាំយើងទៅដល់ការសាងសង់ផ្នែករឹងជាក់ស្តែង។ កម្រិត 1 គឺជាឧបករណ៍ចាប់ផ្តើម មួយពាន់ពីររយ ទៅមួយពាន់ប្រាំរយដុល្លារ។ នៅលើ PC, គោលដៅរបស់អ្នកគឺ RTX 4060 Ti 16-ជីហ្គាបៃ។
2:39 ការព្រមានសំខាន់៖ កុំទិញ កំណែប្រាំបីជីហ្គាបៃ ដើម្បីសន្សំចិតសិបដុល្លារ។ VRAM ប្រាំបីជីហ្គាបៃក្នុងឆ្នាំ 2026 គឺជាការកាត់ទោសប្រហារជីវិតភ្លាមៗដោយអស់អង្គចងចាំ លើលំហូរការងារភ្នាក់ងារពិតណាមួយ។ ភ្ជាប់វាជាមួយ Ryzen 5 ប្រាំមួយស្នូល, DDR5 ហុកសិបបួនជីហ្គាបៃ, និង NVMe drive ពីរterabyte។ នៅតំបន់ Apple, ស្មើនឹង Mac Mini ឬ MacBook Pro ដែលមានដប់ប្រាំមួយ ជីហ្គាបៃនៃអង្គចងចាំបង្រួបបង្រួម។
3:02 អ្នកនឹងឃើញសែសិប ទៅហាសិបនិមិត្តសញ្ញាក្នុងមួយវិនាទីនៅលើម៉ូដែលប្រាំបីពាន់លាន។ កម្រិត 2 គឺជាចំណុចល្អបំផុតសម្រាប់អ្នកប្រើប្រាស់ថាមពល៖ ការសាងសង់ជាពិសេសដើម្បីដំណើរការ ម៉ូដែលប៉ារ៉ាម៉ែត្រសាមសិបពីរពាន់លានដូចជា Qwen 2.5 32B។ ផ្លូវ A គឺជា RTX 4070 Ti Super ថ្មីដែលមានដប់ប្រាំមួយជីហ្គាបៃ ក្នុងតម្លៃប្រាំបីរយ ដុល្លារ។ ប៉ុន្តែផ្លូវ B គឺជាអនុសាសន៍ខ្លាំងរបស់ខ្ញុំ៖ ទិញ Nvidia RTX 3090 ជជុះ ម្ភៃបួនជីហ្គាបៃ។ អ្នកអាចរក 3090s ស្អាតៗនៅលើ eBay ក្នុងតម្លៃប្រាំមួយរយហាសិប ទៅប្រាំពីររយហាសិបដុល្លារ។ នោះផ្តល់ឱ្យអ្នកនូវ VRAM ម្ភៃបួនជីហ្គាបៃនៅលើ bus 384-bit ដ៏ធំមួយដែលរុញ
3:33 936 ជីហ្គាបៃក្នុងមួយវិនាទី។ មួយដុល្លារទល់នឹងមួយដុល្លារ វាជាកិច្ចព្រមព្រៀង VRAM ល្អបំផុតក្នុងការគណនា។ នៅលើ macOS, គូប្រជែងកម្រិត 2 គឺ Mac Mini M4 Pro ដែលមានហុកសិបបួនជីហ្គាបៃ នៃអង្គចងចាំបង្រួបបង្រួម។ វាបង្កើតនិមិត្តសញ្ញាដប់មួយ ទៅដប់ពីរក្នុងមួយវិនាទីនៅលើម៉ូដែលសាមសិបពីរពាន់លាន៖ យឺតជាង Nvidia ប៉ុន្តែស្ងាត់ជ្រៀបត្រឹមសាមសិបវ៉ាត់ ជាមួយនឹងបន្ទប់សម្រាប់បង្អួចបរិបទដ៏ធំមួយ ។ កម្រិត 3 គឺជាកម្រិតអ្នកចូលចិត្តសម្រាប់ multi-agent swarms។ នៅលើ PC នោះមានន័យថា RTX 4090 ដែលមានម្ភៃបួនជីហ្គាបៃ
3:57 Ryzen 9 និង RAM មួយរយម្ភៃប្រាំបីជីហ្គាបៃ ឬ RTX 3090s ពីរដែលផ្តល់ VRAM សរុបសែសិបប្រាំបីជីហ្គាបៃ។ នៅក្នុងជួរផលិតផល Apple, នេះគឺជា Mac Studio Ultra ដែលមានកៅសិបប្រាំមួយ ទៅមួយរយ ម្ភៃប្រាំបីជីហ្គាបៃនៃអង្គចងចាំបង្រួបបង្រួម។ ថាមពលពិសេសគឺអង្គចងចាំ residency៖ អ្នកអាចរក្សាម៉ូដែល embedding router លឿន និងម៉ូដែលសរសេរកូដ 32-billion ផ្ទុកក្នុងពេលដំណាលគ្នាដោយ គ្មានការពន្យារពេលផ្លាស់ប្តូរ។ ឥឡូវនេះសម្រាប់ភាពបរាជ័យដោយស្មោះត្រង់នៃការសាកល្បងវាលរបស់យើង៖ អន្ទាក់ edge computing។
4:24 រាល់សប្តាហ៍ ការបង្ហោះតាមបណ្តាញសង្គមអះអាងថាអ្នកអាចដំណើរការភ្នាក់ងារសរសេរកូដស្វយ័តនៅលើ Raspberry Pi 5 តម្លៃប៉ែតសិបដុល្លារ។ ខ្ញុំបានសាកល្បងវា។ ការដំណើរការម៉ូដែលប៉ារ៉ាម៉ែត្រមួយចំណុចប្រាំពាន់លានតូចមួយ ផ្តល់ឱ្យអ្នកនូវនិមិត្តសញ្ញាត្រឹមតែបី ក្នុងមួយវិនាទី ខណៈដែល board ត្រូវបានកំណត់ល្បឿននៅប៉ែតសិបប្រាំអង្សាសេ។ វាជាប្រដាប់ក្មេងលេងចុងសប្តាហ៍ដ៏គួរឱ្យចាប់អារម្មណ៍ ប៉ុន្តែជាកម្មវិធីបញ្ជាអភិវឌ្ឍន៍ប្រចាំថ្ងៃ វាជាការដាក់ទណ្ឌកម្មសុទ្ធសាធ។ សម្រាប់ software សូមប្រើ Ollama ប្រសិនបើអ្នកចង់បាន command-line daemon ស្អាតដែលភ្ជាប់
4:47 ដោយផ្ទាល់ទៅ Cursor, Cline ឬ VS Code។ ប្រសិនបើអ្នកចង់បាន graphical playground ជាមួយនឹងការទាញយកម៉ូដែល និង GPU layer sliders សូមប្រើ LM Studio។ ហើយផ្គូផ្គង format របស់អ្នកទៅនឹង silicon របស់អ្នក។ នៅលើ Apple Silicon, តែងតែទាញយកម៉ូដែល GGUF ដែលត្រូវបានកែលម្អសម្រាប់ Metal។ នៅលើ Windows ឬ Linux ជាមួយ Nvidia, ទាញយកម៉ូដែល AWQ ឬ EXL2 ដែលប្រើប្រាស់ Nvidia Tensor Cores សម្រាប់ការ推론លឿនជាងម្ភៃ ទៅសាមសិបភាគរយ។ ដូច្នេះតើអ្នកដាក់ពង្រាយនេះដោយមិនក្ស័យធនដោយរបៀបណា?
5:11 គិតថាផ្នែករឹងក្នុងស្រុកដូចជាកន្លែងហាត់ប្រាណនៅផ្ទះទល់នឹងកន្លែងហាត់ប្រាណពាណិជ្ជកម្ម។ ការមាន squat rack នៅផ្ទះមានន័យថាអ្នកហ្វឹកហាត់រាល់ថ្ងៃដោយគ្មានការធ្វើដំណើរ គ្មានថ្លៃជាវ និងភាពឯកជនពេញលេញ។ ម៉ាស៊ីនក្នុងស្រុករបស់អ្នកគ្រប់គ្រងប៉ែតសិបភាគរយនៃការសរសេរកូដប្រចាំថ្ងៃរបស់អ្នក ការធ្វើតេស្តឯកតា និងការដំណើរការឯកសារឯកជនក្នុងតម្លៃសូន្យដុល្លារក្នុងមួយនិមិត្តសញ្ញា។ ហើយនៅពេលដែលអ្នកត្រូវលើកទម្ងន់ប្រាំរយផោន — ដូចជាការកែប្រែស្ថាបត្យកម្មដ៏ធំទូលាយ នៅទូទាំងហាសិបឯកសារ — អ្នកទៅកន្លែងហាត់ប្រាណពាណិជ្ជកម្ម៖ បង់ cloud API សម្រាប់ Claude 3.5 Sonnet ឬ OpenAI o3 រយៈពេលដប់ប្រាំនាទី
5:38 ហើយបន្តទៅមុខ។ នេះគឺជាវិក្កយបត្រ៖ ការសាងសង់កម្រិត 2 ជាមួយ 3090 ជជុះ មានតម្លៃមួយពាន់ប្រាំមួយរយដុល្លារ សរុប។ ប្រសិនបើអ្នកចំណាយហាសិប ទៅមួយរយដុល្លារក្នុងមួយខែលើ API tokens វានឹងចំណាយអស់ខ្លួនវាក្នុងរយៈពេលដប់ប្រាំបីខែ ខណៈពេលដែលរក្សាកូដកម្មសិទ្ធិរបស់អ្នក ពី server ភាគីទីបី។ សាលក្រមសាកល្បងវាលថ្ងៃនេះ៖ SHIP IT។ VRAM និងកម្រិតបញ្ជូនអង្គចងចាំ ឈ្នះល្បឿននាឡិការាល់ពេល។ ឈប់ទិញ CPU ប្រាំជីហ្គាហឺតសម្រាប់ AI ហើយទៅរក 3090 ជជុះ។
6:04 ប្រាប់ខ្ញុំពីការសាងសង់ផ្នែករឹងអ្វីដែលអ្នកកំពុងប្រើសម្រាប់ម៉ូដែលក្នុងស្រុកនៅក្នុងមតិយោបល់។ ហើយប្រសិនបើអ្នកចង់អានការបែកបាក់នេះ សូមទទួលបានព្រឹត្តិប័ត្រព័ត៌មាននៅ the daily diff dot dev, តំណភ្ជាប់ខាងក្រោម។ ហើយនោះគឺជា diff សម្រាប់ថ្ងៃនេះ។ ខ្ញុំ Niko មកពី Axrisi។ Merge ប្រកបដោយទំនួលខុសត្រូវ។
ប្រភព
- Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PCaxrisi.com
- NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)www.nvidia.com
- llama.cpp Memory Bandwidth & Offloading Architecturegithub.com
- Ollama Model Library & Benchmarksollama.com
- vLLM PagedAttention & KV Cache Memory Managementgithub.com
- JEDEC DDR5 Memory Standard Specificationswww.jedec.org
