Le guide matériel local pour l'IA (2026)

Ce que couvre cette vidéo

• Le seuil de bande passante mémoire 20 fois inférieur : 936 Go/s GDDR6X contre 50 Go/s DDR5 et 31,5 Go/s PCIe
• Dimensionnement du modèle à 4 bits : 8B (5 Go), 14B (10 Go), 32B (20 Go), 70B (40 Go)
• Niveau 1 (1 200 $–1 500 $) : RTX 4060 Ti 16 Go (jamais 8 Go) ou Mac Mini 16 Go
• Niveau 2 (1 500 $–2 000 $) : le "sweet spot" de la RTX 3090 24 Go d'occasion ou Mac Mini M4 Pro 64 Go
• Niveau 3 (3 500 $+) : RTX 4090 24 Go / doubles 3090 ou Mac Studio Ultra

Transcription traduite

Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont gérés par YouTube.

0:00 Si vous envisagez de construire un PC pour exécuter des agents d'IA locaux, arrêtez de construire un PC de jeu. Vous n'avez pas besoin d'un Core i9 à 5,8 gigahertz, d'une boucle de refroidissement liquide, ou d'une carte graphique de 8 gigaoctets recouverte de RGB. Dans l'inférence d'IA locale, les spécifications de jeu sont pratiquement inutiles. La seule métrique qui dicte si votre agent fonctionne ou rampe est la capacité de la VRAM et la bande passante du bus mémoire. Règles du test matériel : oubliez les horloges CPU et les benchmarks de rastérisation.

0:24 Nous nous soucions de trois chiffres : la largeur du bus mémoire, la bande passante en gigaoctets par seconde, et la marge de VRAM brute pour le gonflement du cache KV. Dans ce test sur le terrain, je décomposerai le seuil de bande passante mémoire 20x, cartographierai les règles de dimensionnement des modèles, évaluerai trois niveaux réels de mille deux cents dollars à cinq mille, et expliquerai pourquoi une 3090 d'occasion est toujours le plus grand code de triche de l'informatique. Ceci est The Daily Diff, test sur le terrain. Pour comprendre pourquoi les PC de jeu échouent, examinons comment la génération de jetons s'exécute réellement. Dans les jeux, votre CPU alimente les appels de rendu et votre GPU rend les images.

0:54 Mais le décodage LLM autorégressif est presque purement lié à la bande passante mémoire. Pour générer un seul jeton, le GPU doit diffuser chaque paramètre de poids du modèle de la mémoire à travers ses cœurs de calcul. Si votre modèle fait 10 gigaoctets, produire un jeton signifie lire 10 gigaoctets de données. Sur une Nvidia RTX 3090 avec un bus mémoire de 384 bits, vous obtenez 936 gigaoctets par seconde de bande passante GDDR6X, produisant 80 jetons par seconde. Mais regardez ce qui se passe à l'instant où votre modèle dépasse la VRAM physique.

1:22 Lorsque la VRAM se remplit, les runtimes déchargent les couches restantes sur le bus PCIe vers la mémoire système DDR5. Vos cœurs GPU s'attendent à mille gigaoctets par seconde. Au lieu de cela, la DDR5 à double canal leur en fournit 50, et le PCIe 4 s'étouffe à 31. C'est un effondrement de la bande passante de 20 fois. Le pipeline de génération de jetons s'arrête instantanément en attendant sur le bus, et la vitesse chute de 40 jetons par seconde à 1,5. Vous avez transformé un équipement de 2 000 $ en un radiateur.

1:47 Et cela empire lors des exécutions d'agents multi-tours, car les poids ne sont que la moitié de la bataille. Chaque invite, appel d'outil et bloc de fichier est stocké dans le cache Clé-Valeur. Une fenêtre de contexte de 32 000 peut consommer de 4 à 8 gigaoctets de VRAM en plus des poids. Si votre carte n'a que 16 gigaoctets, votre agent boucle deux fois, atteint le mur de contexte et se bloque avec une erreur de mémoire insuffisante ou déborde dans la DDR5. Voici la "cheat sheet" de dimensionnement 4 bits. Un modèle de 7 ou 8 milliards de paramètres comme Llama 3.1 ou DeepSeek Distill

2:16 prend environ 5 gigaoctets. Un modèle de 14 milliards prend 10 gigaoctets. Un modèle de 32 milliards, le "sweet spot" d'intelligence pour les agents de codage, nécessite 20 gigaoctets. Et un modèle "frontier" de 70 milliards exige 40 gigaoctets avant même de allouer le contexte. Ce qui nous amène aux constructions matérielles réelles. Le niveau 1 est l'équipement de démarrage, de 1 200 $ à 1 500 $. Sur PC, votre ancre est une RTX 4060 Ti 16 gigaoctets.

2:39 Avertissement critique : n'achetez jamais la version 8 gigaoctets pour économiser 70 dollars. Huit gigaoctets de VRAM en 2026 est une condamnation à mort immédiate par manque de mémoire sur tout flux de travail d'agent réel. Associez-la à un Ryzen 5 à 6 cœurs, 64 gigaoctets de DDR5, et un lecteur NVMe de 2 téraoctets. Dans le monde Apple, l'équivalent est un Mac Mini ou MacBook Pro avec 16 gigaoctets de mémoire unifiée.

3:02 Vous verrez de 40 à 50 jetons par seconde sur les modèles de 8 milliards. Le niveau 2 est le "sweet spot" pour les utilisateurs expérimentés : construire spécifiquement pour exécuter des modèles de 32 milliards de paramètres comme Qwen 2.5 32B. Le chemin A est une nouvelle RTX 4070 Ti Super avec 16 gigaoctets pour 800 dollars. Mais le chemin B est ma forte recommandation : achetez une Nvidia RTX 3090 24 gigaoctets d'occasion. Vous pouvez trouver des 3090 "clean" sur eBay pour 650 à 750 dollars. Cela vous donne 24 gigaoctets de VRAM sur un énorme bus de 384 bits poussant

3:33 936 gigaoctets par seconde. Dollar pour dollar, c'est la meilleure affaire VRAM en informatique. Sur macOS, l'équivalent du niveau 2 est un Mac Mini M4 Pro avec 64 gigaoctets de mémoire unifiée. Il produit de 11 à 12 jetons par seconde sur un modèle de 32 milliards : plus lent que Nvidia, mais absolument silencieux à 30 watts avec de la place pour une gigantesque fenêtre de contexte. Le niveau 3 est la catégorie des enthousiastes pour les essaims multi-agents. Sur PC, cela signifie une RTX 4090 avec 24 gigaoctets,

3:57 un Ryzen 9, et 128 gigaoctets de RAM, ou deux RTX 3090 offrant 48 gigaoctets de VRAM totale. Dans la gamme Apple, c'est un Mac Studio Ultra avec 96 à 128 gigaoctets de mémoire unifiée. Le super pouvoir est la résidence mémoire : vous pouvez garder un modèle d'embedding, un routeur rapide, et un modèle de codage de 32 milliards chargés simultanément avec un délai de "swap" nul. Maintenant, pour l'échec honnête de notre test sur le terrain : le piège de l'informatique "edge".

4:24 Chaque semaine, un post social affirme que vous pouvez exécuter des agents de codage autonomes sur un Raspberry Pi 5 à 80 dollars. Je l'ai testé. Exécuter un minuscule modèle de 1,5 milliard de paramètres vous donne à peine 3 jetons par seconde pendant que la carte se régule à 85 degrés Celsius. C'est un jouet sympa pour le week-end, mais comme pilote de développement quotidien, c'est une pure punition. Pour les logiciels, utilisez Ollama si vous voulez un démon en ligne de commande propre qui se connecte

4:47 directement à Cursor, Cline ou VS Code. Si vous voulez un "playground" graphique avec des téléchargements de modèles et des curseurs de couche GPU, utilisez LM Studio. Et adaptez votre format à votre silicium. Sur Apple Silicon, téléchargez toujours les modèles GGUF optimisés pour Metal. Sur Windows ou Linux avec Nvidia, téléchargez les modèles AWQ ou EXL2, qui utilisent les Tensor Cores de Nvidia pour une inférence 20 à 30 % plus rapide. Alors, comment déployer cela sans se ruiner ?

5:11 Pensez au matériel local comme à une salle de sport à domicile par rapport à une salle de sport commerciale. Avoir un support de squat à la maison signifie que vous vous entraînez tous les jours sans trajet, sans frais d'abonnement, et avec une intimité totale. Votre machine locale gère 80 % de votre codage quotidien, des tests unitaires et du traitement de documents privés pour zéro dollar par jeton. Et quand vous avez besoin de soulever 500 livres — comme un refactoring architectural massif sur l'ensemble du dépôt sur 50 fichiers — vous visitez la salle de sport commerciale : payez l'API cloud pour Claude 3.5 Sonnet ou OpenAI o3 pendant 15 minutes

5:38 et passez à autre chose. Voici la facture : une construction de niveau 2 avec une 3090 d'occasion coûte 1 600 $ tout compris. Si vous dépensez 50 à 100 dollars par mois en jetons API, elle se rentabilise en 18 mois tout en gardant votre base de code propriétaire hors des serveurs tiers. Verdict du test sur le terrain d'aujourd'hui : SHIP IT. La VRAM et la bande passante mémoire battent les fréquences d'horloge à chaque fois. Arrêtez d'acheter des CPU de 5 gigahertz pour l'IA, et trouvez une 3090 d'occasion.

6:04 Dites-moi quel matériel vous utilisez pour les modèles locaux dans les commentaires. Et si vous préférez lire cette analyse, abonnez-vous à la newsletter sur "the daily diff" point dev, lien ci-dessous. Et c'est la différence pour aujourd'hui. Je suis Niko d'Axrisi. Fusionnez de manière responsable.

Sources

1. Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PCaxrisi.com
2. NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)www.nvidia.com
3. llama.cpp Memory Bandwidth & Offloading Architecturegithub.com
4. Ollama Model Library & Benchmarksollama.com
5. vLLM PagedAttention & KV Cache Memory Managementgithub.com
6. JEDEC DDR5 Memory Standard Specificationswww.jedec.org