Puces d’IA
Conception full-custom pour les puces d’IA.
Une puce d’IA consacre son énergie et sa surface à quelques circuits répétés un très grand nombre de fois, et c’est là que la conception full-custom apporte le plus. Compte direct de TSMC, nous proposons des cellules sur mesure, la caractérisation de bibliothèques, des netlists manuelles, des arbres d’horloge sur mesure et le placement-routage manuel pour les puces d’inférence, d’entraînement, de grands modèles, d’IA embarquée et de vision.
- Procédé
- Compte direct TSMC ; autorisation de conception FinFET en 7 nm ; conception full-custom de puce d’IA en 6 nm
- Techniques full-custom
- Cellules sur mesure, caractérisation et recaractérisation de bibliothèques, netlists manuelles, placement-routage manuel, arbres d’horloge sur mesure
- Blocs de calcul
- Matrices MAC, multiplieurs, arbres d’additionneurs et registres de pipeline
- Façons de travailler ensemble
- Évaluation technique, plan d’optimisation, conseil en conception et conception full-custom
Types de puces d’IA
Les puces d’IA auxquelles les techniques full-custom peuvent s’appliquer.
Le cœur de calcul de chacune de ces puces comporte de grandes structures régulières et répétitives, et c’est là que la conception full-custom apporte le plus.
Puces d’inférence pour l’IA
Elles exécutent des modèles entraînés et répondent aux requêtes, dans le cloud ou dans les appareils. Les acheteurs regardent avant tout le coût, la consommation et la latence par requête.
Voir le placement-routage manuel- Énergie par inférence
- Bande passante mémoire
- Efficacité en surface de la matrice MAC
Puces d’entraînement pour l’IA
Elles ajustent les poids des modèles à partir de données, généralement dans de grands clusters. L’interconnexion et la mémoire comptent autant que le calcul.
Voir la conception full-custom- Cœurs tensoriels efficaces en virgule flottante
- Mémoire à large bande passante et liaisons entre puces
- Consommation à l’échelle de la baie
Puces d’inférence pour grands modèles de langage
Elles génèrent des jetons un par un pour les modèles transformer. Le travail se répartit entre un préremplissage (prefill) intensif en calcul et un décodage limité par la mémoire.
Voir les netlists manuelles- Énergie et coût par jeton
- Bande passante mémoire du cache KV
- Délai avant le premier jeton
Puces d’IA embarquée (edge et on-device)
Elles exécutent des modèles dans les appareils ou les passerelles, et de plus en plus souvent de grands modèles en local.
Voir la caractérisation de bibliothèques- Un budget de consommation strict
- Bande passante LPDDR
- Coût de la nomenclature
Puces NPU
Une unité de traitement neuronal est un bloc ou une puce conçus pour les calculs des réseaux de neurones. Elle est désormais standard dans les processeurs de téléphones et de PC.
Voir le placement-routage manuel- Efficacité énergétique de la matrice MAC
- Limites thermiques en régime soutenu
- Adéquation avec la pile logicielle
Puces d’IA pour la vision
Elles associent traitement d’image, codage vidéo et NPU pour les caméras et les appareils de vision. Les composants récents exécutent des transformers à côté des CNN.
Voir la caractérisation de bibliothèques- Consommation par flux vidéo
- Chaleur dans les boîtiers étanches
- Coût
ASIC d’IA sur mesure pour le cloud (XPU)
Des accélérateurs d’IA que les fournisseurs de cloud spécifient pour leurs propres charges de travail.
Voir la conception full-custom- Cœurs tensoriels efficaces
- Mémoire à large bande passante
- Calendrier de développement
Puces pour PC et téléphones d’IA
Le NPU, le GPU et le CPU se partagent le travail des modèles, et ces puces parviennent aux consommateurs en très grand nombre.
Voir la caractérisation de bibliothèques- Performances soutenues et chaleur
- Autonomie de la batterie
- Bande passante LPDDR
Puces pour l’automobile et la robotique
Elles assurent la perception et la planification, avec des exigences de temps réel et de sécurité. Les robots humanoïdes et les drones disposent de moins d’énergie.
Voir la conception full-custom- Sécurité fonctionnelle
- Chaleur
- Interfaces de capteurs
Puces pour lunettes d’IA et objets portables
Des puces à très faible consommation pour petites batteries, souvent associées à un coprocesseur toujours actif.
Voir la caractérisation de bibliothèques- Consommation en veille active
- Chaleur dans la monture
- Coût de la nomenclature
Puces d’IA pour la parole
Des processeurs toujours actifs pour les mots d’activation, les commandes vocales et la réduction du bruit.
Voir la caractérisation de bibliothèques- Consommation en veille
- Coût
- Taille du modèle
Puces de calcul en mémoire
Elles calculent dans les matrices mémoire ou à côté d’elles pour réduire les déplacements de données, sous forme numérique ou analogique.
Voir les cellules sur mesure- Arbres d’additionneurs et cellules de bits
- Capacité pour les grands modèles
- Prise en charge logicielle
Comment les techniques full-custom s’appliquent aux puces d’IA
Chaque technique de notre méthodologie a sa place dans une puce d’IA.
Le cœur de calcul d’une puce d’IA répète registre, logique combinatoire, registre. Il commute souvent et sa structure est régulière, ce qui convient à la conception full-custom.
Cellules sur mesure
Registres, verrous, additionneurs complets et cellules de compression conçus pour la matrice MAC et le pipeline. Plus il y a de registres, plus les cellules séquentielles sur mesure apportent de gain.
Cellules séquentielles multibits et dynamiques
Les registres multibits partagent une broche d’horloge entre plusieurs bits pour réduire la consommation d’horloge, et l’architecture tranche entre cellules statiques et dynamiques, et entre bascules et verrous.
Caractérisation et recaractérisation de bibliothèques
Les cellules sur mesure sont caractérisées et les bibliothèques étendues à la tension de fonctionnement réelle, avec des modèles validés au sign-off en même temps que les cellules de la fonderie.
Netlists manuelles
Les multiplieurs, arbres d’additionneurs et étages de pipeline du RTL sont mis en correspondance avec des cellules sur mesure, avec un nommage régulier pour les scripts et le placement.
Placement-routage manuel
Une matrice MAC est placée en tranches de bits régulières, ce qui raccourcit les fils et réduit la surface. Plus la matrice est grande, plus le gain est important.
Arbres d’horloge sur mesure
Une distribution d’horloge conçue pour une matrice régulière, qui maîtrise le skew et la consommation d’horloge.
Conception basse tension
La consommation dynamique suit le carré de la tension. La conception full-custom permet à un cœur de calcul de fonctionner à plus basse tension, ce qui augmente le calcul par watt.
Cellules à seuils mixtes
Avec le placement à la main, une même cellule peut mêler plusieurs types de seuil, pour une optimisation poussée des chemins critiques et de la consommation.
Alimentation et chute IR
Le réseau d’alimentation d’un calcul dense est conçu en même temps que le placement, avec une analyse statique et dynamique de la chute IR.
Plans techniques
Plans techniques full-custom pour les NPU.
Issus de nos travaux full-custom sur le NPU du processeur d’IA d’un grand client du secteur, sans les détails propres à ce client.
Deux niveaux de personnalisation
La personnalisation légère utilise une bibliothèque de cellules sur mesure, avec synthèse et placement-routage automatisés. La personnalisation poussée construit les blocs à partir de cellules sur mesure, pour un gain plus important et un sign-off plus indépendant.
Personnalisation de la matrice MAC
Conception sur mesure, au niveau du bloc, de multiplieurs en virgule fixe tels que INT8, d’arbres d’additionneurs et de registres de pipeline. Plus la matrice MAC est grande, plus la personnalisation est rentable.
Évaluation par rapport à une référence
Avec les cellules standard et le placement-routage automatisé comme référence, les cellules sur mesure, les netlists manuelles, les arbres d’horloge manuels et le placement-routage manuel sont évalués chacun en surface, en consommation et en vitesse.
Choix des cellules séquentielles
Bascules dynamiques, verrous dynamiques ou cellules statiques, choisis selon l’architecture et le schéma d’horloge. Une conception à verrous peut utiliser des horloges triphasées sans recouvrement.
Sign-off au niveau du bloc
Les blocs sur mesure sont validés séparément, et l’analyse statique de timing au niveau supérieur lit les modèles des blocs, en phase avec le flot back-end numérique.
Test du cœur de calcul
Un cœur de calcul peut intégrer un test fonctionnel, avec des vecteurs fonctionnels qui vérifient ses résultats.
Travail avec le front-end
Une hiérarchie RTL et un flux de données clairs, et des données de cellules précises pour la simulation de consommation.
Objectifs de basse tension
Caractérisation ou recaractérisation de bibliothèques à la tension visée, avec une simulation de circuit qui calibre les modèles de timing et de consommation des cellules sur mesure.
Livrables
Un document de flot full-custom, et des rapports sur les cellules sur mesure, les netlists au niveau portes et le placement-routage.
Façons de travailler ensemble
Quatre étapes, une à la fois.
Évaluation technique
Vous envoyez vos questions techniques ; nous répondons en détail et évaluons l’intérêt de la conception full-custom.
Plan d’optimisation
Nous analysons votre conception et proposons des orientations, des plans techniques et l’amélioration PPA attendue.
Conseil en conception
Conseils sur le flot, revues de conception et accompagnement de la mise en œuvre pour votre équipe.
Conception full-custom
Le service de conception complet, de la conception optimisée au tape-out, avec livraison de toutes les données de conception.
Technologies phares des puces d’IA
- Matrice MAC
- Une matrice de calcul composée de nombreuses unités de multiplication-accumulation, au cœur des NPU et des puces d’inférence.
- HBM (mémoire à large bande passante)
- De la DRAM empilée, placée dans le même boîtier que le processeur. Les produits actuels utilisent la HBM3E et la HBM4, et la HBM4E est la génération suivante.
- CoWoS et mise en boîtier 2.5D
- Une mise en boîtier avancée qui réunit un processeur et de la HBM sur un interposeur. Sa capacité conditionne l’offre de puces d’IA haut de gamme.
- Empilement 3D et collage hybride
- Des puces empilées verticalement et reliées par collage hybride, pour raccourcir les interconnexions.
- Chiplets et UCIe
- Une grande puce divisée en plusieurs dies. UCIe est une norme ouverte pour les connecter.
- Optique co-intégrée (CPO)
- Des moteurs optiques placés dans le boîtier à côté d’une puce de commutation ou de calcul, pour réduire la consommation des liaisons longue portée.
- Calcul en mémoire
- Calculer dans les matrices mémoire ou à côté d’elles pour réduire les déplacements de données.
- Quantification à faible précision
- Des poids et des activations codés sur moins de bits, comme INT8, INT4, FP8 ou FP4, pour réduire le coût des multiplieurs et de la mémoire.
- Accélération des transformers
- Des chemins de données optimisés pour l’attention et les calculs matriciels.
- Cache KV et coût par jeton
- Le cache KV de l’inférence des grands modèles croît avec la longueur du contexte, et le coût par jeton est devenu une mesure clé des puces d’inférence.
- Grande SRAM
- Des poids de modèle ou un contexte conservés sur la puce, pour réduire l’énergie d’accès et la latence.
- Réseau sur puce (NoC)
- L’interconnexion interne à la puce entre les unités de calcul et la mémoire.
- RISC-V pour l’IA
- Des processeurs et accélérateurs d’IA fondés sur ce jeu d’instructions ouvert.
- Conception basse tension et proche du seuil
- Un cœur de calcul qui fonctionne près de la tension de seuil des transistors, pour l’efficacité énergétique. La conception basse tension repose sur des modèles de bibliothèque précis.
- Alimentation par la face arrière
- Le réseau d’alimentation déplacé à l’arrière de la plaquette, pour réduire la chute IR.
- GAA et 2 nm
- Des transistors à grille enveloppante (gate-all-around), qui remplacent le FinFET à la génération 2 nm.
Applications
Applications des puces d’IA
Questions sur les puces d’IA
Quelle est la différence entre puces d’inférence et puces d’entraînement ?
Les puces d’entraînement ajustent les poids des modèles à partir de données : le calcul en virgule flottante, la bande passante mémoire et l’interconnexion des clusters comptent le plus. Les puces d’inférence exécutent des modèles entraînés : le coût, la consommation et la latence par requête comptent le plus.
En quoi les puces d’inférence LLM diffèrent-elles des puces d’inférence pour l’IA ?
Une puce d’inférence LLM est un type de puce d’inférence pour l’IA qui génère des jetons pour les modèles transformer. Le coût par jeton et la bande passante mémoire du cache KV comptent le plus.
Qu’est-ce qu’une puce d’IA embarquée ?
Une puce d’IA embarquée (edge ou on-device) exécute des modèles dans un appareil tel qu’un téléphone, un PC, une paire de lunettes ou une caméra, sans dépendre du cloud. Ses principales limites sont le budget de consommation, la bande passante LPDDR et le coût de la nomenclature.
Qu’est-ce qu’une puce NPU ?
Un NPU est un processeur conçu pour les calculs des réseaux de neurones, avec en son cœur une matrice MAC et une mémoire locale. Il peut s’agir d’une puce séparée ou d’un bloc dans un SoC.
Qu’est-ce qu’une puce de calcul en mémoire ?
Elle calcule dans les matrices mémoire ou à côté d’elles, ce qui réduit les données déplacées entre la mémoire et les unités de calcul. Elle existe sous forme numérique et analogique.
Quelles parties d’une puce d’IA se prêtent à la conception full-custom ?
Ce sont les blocs réguliers qui commutent souvent qui s’y prêtent le mieux, comme les matrices MAC, les multiplieurs, les arbres d’additionneurs et les registres de pipeline. La logique de contrôle et les interfaces restent sur un flot d’outils standard.
En quoi la caractérisation de bibliothèques et le placement-routage manuel aident-ils une puce d’IA ?
La caractérisation de bibliothèques donne aux cellules sur mesure et aux bibliothèques basse tension des modèles précis, et le placement-routage manuel rend une matrice MAC plus régulière, avec des fils plus courts. Ensemble, ils permettent à un cœur de calcul de fonctionner à plus basse tension.
Quels procédés prenez-vous en charge ?
Nous sommes un compte direct de TSMC, et nos travaux de conception couvrent le FinFET en 16 nm, 12 nm, 7 nm et 6 nm.
Pages associées
Vous avez un projet de puce d’IA ?
Indiquez-nous le modèle, l’objectif de calcul, le budget de consommation et le procédé visé, et nous vous répondrons.