දේශීය AI දෘඪාංග මාර්ගෝපදේශය (2026)

මෙම වීඩියෝවෙන් ආවරණය වන දේ

• 20x මතක කලාප පළල අගාධය: 936 GB/s GDDR6X එදිරිව 50 GB/s DDR5 සහ 31.5 GB/s PCIe
• ආකෘති ප්‍රමාණකරණය @ 4-බිට්: 8B (5GB), 14B (10GB), 32B (20GB), 70B (40GB)
• 1 වන මට්ටම ($1,200–$1,500): RTX 4060 Ti 16GB (කිසිවිටෙක 8GB නොවේ) හෝ Mac Mini 16GB
• 2 වන මට්ටම ($1,500–$2,000): භාවිතා කරන ලද RTX 3090 24GB හොඳම තෝරාගැනීම හෝ Mac Mini M4 Pro 64GB
• 3 වන මට්ටම ($3,500+): RTX 4090 24GB / ද්විත්ව 3090s හෝ Mac Studio Ultra

පරිවර්තනය කරන ලද පිටපත

මුල් ඉංග්‍රීසි නිරූපණයෙන් පරිවර්තනය කරන ලදී. පවතින ශ්‍රව්‍ය සහ ශීර්ෂ පාඨ YouTube මගින් පාලනය වේ.

0:00 ඔබ දේශීය AI කාරකයන් ධාවනය කිරීමට පරිගණකයක් තැනීමට සැලසුම් කරන්නේ නම්, සූදු පරිගණකයක් තැනීම නවත්වන්න. ඔබට ගිගාහර්ට්ස් 5.8 Core i9, ද්‍රව සිසිලන ලූපයක් අවශ්‍ය නැත, හෝ RGB වලින් වැසී ඇති ගිගාබයිට් අටක ග්‍රැෆික් කාඩ්පතක් අවශ්‍ය නැත. දේශීය AI අනුමානයේදී, සූදු පිරිවිතරයන් ප්‍රායෝගිකව නිෂ්ඵල වේ. ඔබේ කාරකය ධාවනය වන්නේද නැතහොත් බඩගාන්නේද යන්න තීරණය කරන එකම මිනුම VRAM ධාරිතාවයි සහ මතක බස් කලාප පළලයි. දෘඪාංග පරීක්ෂණයේ නීති: CPU ක්ලොක්ස් සහ රාස්ටරීකරණ බෙන්ච්මාර්ක් අමතක කරන්න.

0:24 අපට සංඛ්‍යා තුනක් වැදගත් වේ: මතක බස් පළල, කලාප පළල ගිගාබයිට් වලින් තත්පරයට, සහ KV හැඹිලි ඉදිමීම සඳහා අමු VRAM හිස් අවකාශය. මෙම ක්ෂේත්‍ර පරීක්ෂණයේදී, මම 20x මතක කලාප පළල අගාධය විස්තර කරමි, ආකෘති ප්‍රමාණකරණ නීති සටහන් කරමි, ඩොලර් දොළොස් සියයේ සිට ඩොලර් පන් දහස දක්වා සැබෑ මට්ටම් තුනක් බෙන්ච්මාර්ක් කරමි, සහ භාවිතා කරන ලද 3090 තවමත් පරිගණකයේ විශිෂ්ටතම වංචා කේතය වන්නේ ඇයිදැයි පැහැදිලි කරමි. මෙය The Daily Diff, ක්ෂේත්‍ර පරීක්ෂණයකි. සූදු පරිගණක අසාර්ථක වන්නේ මන්දැයි තේරුම් ගැනීමට, ටෝකන් උත්පාදනය ඇත්ත වශයෙන්ම ක්‍රියාත්මක වන ආකාරය බලන්න. ක්‍රීඩා වලදී, ඔබේ CPU ඇඳීම් ඇමතුම් ලබා දෙන අතර ඔබේ GPU රාමු විදහා දක්වයි.

0:54 නමුත් ස්වයංක්‍රීයව පසුගාමී LLM විකේතනය පාහේ මතක කලාප පළලට සීමා වී ඇත. තනි ටෝකනයක් උත්පාදනය කිරීමට, GPU විසින් ආකෘතියේ සෑම බර පරාමිතියක්ම මතකයෙන් එහි පරිගණක කෝර් හරහා ගලා යා යුතුය. ඔබේ ආකෘතිය ගිගාබයිට් දහයක් නම්, එක් ටෝකනයක් නිපදවීම යනු ගිගාබයිට් දහයක් දත්ත කියවීමයි. 384-බිට් මතක බස් රථයක් සහිත Nvidia RTX 3090 මත, ඔබට තත්පරයට 936 ගිගාබයිට් GDDR6X කලාප පළලක් ලැබේ, තත්පරයට ටෝකන් අසූවක් නිපදවයි. නමුත් ඔබේ ආකෘතිය භෞතික VRAM ඉක්මවා ගිය තත්පරයට සිදු වන්නේ කුමක්දැයි බලන්න.

1:22 VRAM පිරී ගිය විට, ධාවන කාලය ඉතිරි ස්ථර PCIe බස් රථය හරහා පද්ධති DDR5 මතකයට ඉවත් කරයි. ඔබේ GPU කෝර් තත්පරයට ගිගාබයිට් දහසක් අපේක්ෂා කරයි. ඒ වෙනුවට, ද්විත්ව-නාලිකා DDR5 ඔවුන්ට පනහක් ලබා දෙන අතර, PCIe 4 තිස් එකකින් අවහිර වේ. එය 20x කලාප පළල බිඳවැටීමකි. ටෝකන් උත්පාදන නාලිකාව ක්ෂණිකව බස් රථය එනතෙක් බලා සිටීමෙන් නැවතී, වේගය තත්පරයට ටෝකන් හතළිහේ සිට 1.5 දක්වා පහත වැටේ. ඔබ ඩොලර් දෙදහසක පරිගණකයක් හීටරයක් බවට පත් කර ඇත.

1:47 සහ බහු-පරිවර්තන කාරක ධාවන වලදී එය වඩාත් නරක අතට හැරේ, මන්ද බරෙන් අඩක් පමණක් සටන වේ. සෑම විමසුමක්, මෙවලම් ඇමතුමක් සහ ගොනු කොටසක්ම Key-Value හැඹිලියේ ගබඩා වේ. තිස් දෙකේ-k සන්දර්භ කවුළුවකට බරට අමතරව ගිගාබයිට් හතරේ සිට අටක් දක්වා VRAM භාවිත කළ හැකිය. ඔබේ කාඩ්පතේ ගිගාබයිට් දහසයක් පමණක් තිබේ නම්, ඔබේ කාරකය දෙවරක් පුනරාවර්තනය වේ, සන්දර්භ බිත්තියට වැදී, මතක හිඟ දෝෂයකින් බිඳ වැටේ හෝ DDR5 වෙත පිටාර ගලයි. මෙන්න 4-බිට් ප්‍රමාණකරණ වංචා පත්‍රිකාව. Llama 3.1 හෝ DeepSeek Distill වැනි බිලියන හතක් හෝ අටක් පරාමිතීන්

2:16 ඇති ආකෘතියක් සඳහා ගිගාබයිට් පහක් පමණ අවශ්‍ය වේ. බිලියන දහහතරක් පරාමිතීන් ඇති ආකෘතියක් සඳහා ගිගාබයිට් දහයක් අවශ්‍ය වේ. කෝඩින් කාරකයන් සඳහා බුද්ධිමය හොඳම තෝරාගැනීම වන බිලියන තිස් දෙකක් පරාමිතීන් ඇති ආකෘතියක් සඳහා, ගිගාබයිට් විස්සක් අවශ්‍ය වේ. සහ බිලියන හැත්තෑවක නවීන ආකෘතියක් සඳහා ඔබට සන්දර්භය පවා වෙන් කිරීමට පෙර ගිගාබයිට් හතළිහක් අවශ්‍ය වේ. එය අපව සැබෑ දෘඪාංග නිර්මාණයන් වෙත ගෙන එයි. 1 වන මට්ටම ආරම්භක පරිගණකයයි, ඩොලර් දොළොස් සියයේ සිට පහළොස් සියය දක්වා. PC මත, ඔබේ ප්‍රධාන කොටස RTX 4060 Ti 16-ගිගාබයිට් වේ.

2:39 වැදගත් අනතුරු ඇඟවීම: කිසිවිටෙක ඩොලර් හැත්තෑවක් ඉතිරි කිරීමට 8-ගිගාබයිට් සංස්කරණය මිලදී නොගන්න. 2026 දී 8-ගිගාබයිට් VRAM යනු ඕනෑම සැබෑ කාරක වැඩ ප්‍රවාහයකදී ක්ෂණිකව මතක හිඟයකින් මරණ දඬුවමකි. එය 6-කෝර් Ryzen 5, 64-ගිගාබයිට් DDR5, සහ 2-ටෙරාබයිට් NVMe ධාවකයක් සමඟ යුගල කරන්න. Apple ලෝකයේ, සමාන වන්නේ 16-ගිගාබයිට් ඒකාබද්ධ මතකයක් සහිත Mac Mini හෝ MacBook Pro ය.

3:02 ඔබට 8-බිලියන ආකෘති මත තත්පරයට ටෝකන් හතළිහේ සිට පනහක් දක්වා පෙනෙනු ඇත. 2 වන මට්ටම බලවත් පරිශීලකයාගේ හොඳම තෝරාගැනීමයි: Qwen 2.5 32B වැනි 32-බිලියන පරාමිතීන් ආකෘති ධාවනය කිරීමට විශේෂයෙන් නිර්මාණය කර ඇත. මාර්ගය A යනු ඩොලර් අටසියයකට 16-ගිගාබයිට් සහිත නව RTX 4070 Ti Super එකකි. නමුත් මාර්ගය B යනු මගේ දැඩි නිර්දේශයයි: භාවිතා කරන ලද Nvidia RTX 3090 24-ගිගාබයිට් එකක් මිලදී ගන්න. ඔබට eBay මත ඩොලර් හයසිය පනහේ සිට හත්සිය පනහක් දක්වා හොඳ 3090s සොයාගත හැකිය. එය ඔබට 384-බිට් බස් රථයක් මත 24-ගිගාබයිට් VRAM ලබා දෙයි, තත්පරයට

3:33 936 ගිගාබයිට් තල්ලු කරයි. ඩොලරයට ඩොලරය, එය පරිගණකයේ හොඳම VRAM ගනුදෙනුවයි. macOS මත, 2 වන මට්ටමේ අනුපූරකය වන්නේ 64-ගිගාබයිට් ඒකාබද්ධ මතකයක් සහිත Mac Mini M4 Pro ය. එය 32-බිලියන ආකෘතියක් මත තත්පරයට ටෝකන් එකොළහේ සිට දොළහක් නිපදවයි: Nvidia ට වඩා මන්දගාමී නමුත් 30 වොට් වලදී විශාල සන්දර්භ කවුළුවක් සඳහා ඉඩකඩ සහිතව සම්පූර්ණයෙන්ම නිහඬයි. 3 වන මට්ටම බහු-කාරක සමූහයන් සඳහා උද්යෝගිමත් අංශයයි. PC මත, එයින් අදහස් වන්නේ 24-ගිගාබයිට් සහිත RTX 4090 එකක්,

3:57 Ryzen 9 එකක්, සහ 128-ගිගාබයිට් RAM එකක්, හෝ 48-ගිගාබයිට් සම්පූර්ණ VRAM සපයන ද්විත්ව RTX 3090s ය. Apple හි පෙළගැස්මේදී, මෙය 96-සිට 128-ගිගාබයිට් ඒකාබද්ධ මතකයක් සහිත Mac Studio Ultra එකකි. මහා බලය වන්නේ මතක වාසස්ථානයයි: ඔබට embedding ආකෘතියක්, වේගවත් රවුටරයක්, සහ 32-බිලියන කෝඩින් ආකෘතියක් එකවර ශුන්‍ය හුවමාරු ප්‍රමාදයකින් පැටවිය හැක. දැන් අපගේ ක්ෂේත්‍ර පරීක්ෂණයේ අවංක අසාර්ථකත්වය සඳහා: එජ් පරිගණක උගුල.

4:24 සෑම සතියකම සමාජ මාධ්‍ය පෝස්ටුවක් කියා සිටින්නේ ඔබට ස්වයංක්‍රීය කෝඩින් කාරකයන් ඩොලර් අසූවක Raspberry Pi 5 එකක් මත ධාවනය කළ හැකි බවයි. මම එය පරීක්ෂා කළෙමි. කුඩා 1.5-බිලියන පරාමිති ආකෘතියක් ධාවනය කිරීමෙන් ඔබට තත්පරයට ටෝකන් තුනක් පමණක් ලැබෙන අතරතුර පුවරුව සෙල්සියස් අංශක අසූ පහකදී තෙරපේ. එය ලස්සන සති අන්ත සෙල්ලම් බඩුවක්, නමුත් දෛනික සංවර්ධන ධාවකයක් ලෙස, එය පිරිසිදු දඬුවමකි. මෘදුකාංග සඳහා, ඔබට Cursor, Cline, හෝ VS Code වෙත කෙලින්ම සම්බන්ධ වන පිරිසිදු

4:47 විධාන රේඛා ඩීමන් එකක් අවශ්‍ය නම් Ollama භාවිතා කරන්න. ඔබට ආකෘති බාගත කිරීම් සහ GPU ස්ථර ස්ලයිඩර් සහිත ග්‍රැෆිකල් ක්‍රීඩා පිටියක් අවශ්‍ය නම්, LM Studio භාවිතා කරන්න. සහ ඔබේ ආකෘතිය ඔබේ සිලිකන් වලට ගැලපෙන්න. Apple Silicon මත, සැමවිටම Metal සඳහා ප්‍රශස්ත කළ GGUF ආකෘති බාගත කරන්න. Windows හෝ Linux Nvidia සමඟින්, AWQ හෝ EXL2 ආකෘති බාගත කරන්න, ඒවා 20% සිට 30% දක්වා වේගවත් අනුමානයක් සඳහා Nvidia Tensor Cores භාවිතා කරයි. ඉතින්, ඔබ බංකොලොත් නොවී මෙය යොදවන්නේ කෙසේද?

5:11 දේශීය දෘඪාංග ගෘහ ව්‍යායාම ශාලාවක් එදිරිව වාණිජ ව්‍යායාම ශාලාවක් ලෙස සිතන්න. ගෙදර squat rack එකක් තිබීමෙන් අදහස් වන්නේ ඔබට ගමන් වියදම්, දායක ගාස්තු සහ සම්පූර්ණ පෞද්ගලිකත්වය නොමැතිව සෑම දිනකම පුහුණු විය හැකි බවයි. ඔබේ දේශීය යන්ත්‍රය ඔබේ දෛනික කෝඩින්, ඒකක පරීක්ෂා කිරීම, සහ පුද්ගලික ලේඛන සැකසීම ටෝකනයකට ශුන්‍ය ඩොලරයකට හසුරුවයි. ඔබට රාත්තල් පන්සියයක් උස්සන්න අවශ්‍ය වූ විට — ගොනු පනහක් හරහා විශාල repo-wide ගෘහ නිර්මාණ ශිල්පීය ප්‍රතිනිර්මාණයක් වැනි — ඔබ වාණිජ ව්‍යායාම ශාලාවට යන්න: Claude 3.5 Sonnet හෝ OpenAI o3 සඳහා මිනිත්තු පහළොවකට ක්ලවුඩ් API ගෙවා

5:38 ඉදිරියට යන්න. මෙන්න බිල්පත: භාවිතා කරන ලද 3090 සහිත 2 වන මට්ටමේ පරිගණකයක් සඳහා ඩොලර් දහසය සියයක් වැය වේ. ඔබ API ටෝකන් සඳහා මසකට ඩොලර් පනහේ සිට සියයක් දක්වා වියදම් කරන්නේ නම්, එය මාස දහඅටකින් තමන්ටම ගෙවෙන අතර ඔබේ හිමිකාර කේත පදනම තෙවන පාර්ශවීය සේවාදායකයන්ගෙන් ආරක්ෂා කරයි. අද ක්ෂේත්‍ර පරීක්ෂණ තීන්දුව: SHIP IT. VRAM සහ මතක කලාප පළල සෑම විටම ක්ලොක් වේගය පරදවයි. AI සඳහා 5-ගිගාහර්ට්ස් CPUs මිලදී ගැනීම නවත්වන්න, සහ භාවිතා කරන ලද 3090 එකක් සොයා ගන්න.

6:04 අදහස් දැක්වීම්වල ඔබ දේශීය ආකෘති සඳහා භාවිතා කරන දෘඪාංග නිර්මාණය කුමක්දැයි මට කියන්න. ඔබ මෙම විස්තරය කියවීමට කැමති නම්, daily diff dot dev වෙතින් පුවත් පත්‍රිකාව ලබා ගන්න, පහත සබැඳිය ඇත. සහ අදට එය diff එකයි. මම Axrisi වෙතින් Niko. වගකීමෙන් ඒකාබද්ධ කරන්න.

මූලාශ්‍ර

1. Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PCaxrisi.com
2. NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)www.nvidia.com
3. llama.cpp Memory Bandwidth & Offloading Architecturegithub.com
4. Ollama Model Library & Benchmarksollama.com
5. vLLM PagedAttention & KV Cache Memory Managementgithub.com
6. JEDEC DDR5 Memory Standard Specificationswww.jedec.org