Chip AI
Progettazione full-custom per chip AI.
Un chip AI spende la sua energia e la sua area in pochi circuiti ripetuti un numero molto elevato di volte, ed è lì che la progettazione full-custom rende di più. Come cliente diretto di TSMC, offriamo celle su misura, caratterizzazione delle librerie, netlist manuali, alberi di clock su misura e piazzamento e routing manuali per chip di inferenza AI, training, modelli di grandi dimensioni, edge e visione.
- Processo
- Cliente diretto di TSMC; autorizzazione alla progettazione FinFET a 7 nm; progettazione full-custom di chip AI a 6 nm
- Tecniche full-custom
- Celle su misura, caratterizzazione e ricaratterizzazione delle librerie, netlist manuali, piazzamento e routing manuali, alberi di clock su misura
- Blocchi di calcolo
- Array MAC, moltiplicatori, alberi di sommatori e registri di pipeline
- Modi di collaborare
- Valutazione tecnica, piano di ottimizzazione, consulenza di progettazione e progettazione full-custom
Tipi di chip AI
I chip AI a cui si possono applicare le tecniche full-custom.
Il core di calcolo di ciascuno di questi chip ha strutture grandi, regolari e ripetitive, ed è lì che la progettazione full-custom rende di più.
Chip per inferenza AI
Eseguono modelli addestrati e rispondono alle richieste, nel cloud o nei dispositivi. Per gli acquirenti contano soprattutto costo, potenza e latenza per richiesta.
Vedere il piazzamento e routing manuali- Energia per inferenza
- Larghezza di banda della memoria
- Efficienza d'area dell'array MAC
Chip per training AI
Ricavano i pesi dei modelli dai dati, di solito in grandi cluster. Interconnessione e memoria contano quanto il calcolo.
Vedere la progettazione full-custom- Core tensoriali a virgola mobile efficienti
- Memoria ad alta larghezza di banda e collegamenti chip-to-chip
- Potenza a livello di rack
Chip per inferenza di modelli linguistici di grandi dimensioni
Generano token uno alla volta per i modelli transformer. Il lavoro si divide in un prefill ad alta intensità di calcolo e una decodifica vincolata dalla memoria.
Vedere le netlist manuali- Energia e costo per token
- Larghezza di banda della memoria per la KV cache
- Tempo al primo token
Chip AI edge e on-device
Eseguono modelli all'interno di dispositivi o gateway, e sempre più spesso anche modelli di grandi dimensioni in locale.
Vedere la caratterizzazione delle librerie- Un budget di potenza rigoroso
- Larghezza di banda LPDDR
- Costo della distinta base
Chip NPU
Un'unità di elaborazione neurale è un blocco o un chip costruito per i calcoli delle reti neurali. Oggi è uno standard nei processori di telefoni e PC.
Vedere il piazzamento e routing manuali- Efficienza energetica dell'array MAC
- Limiti termici in funzionamento continuo
- Adattamento allo stack software
Chip per visione AI
Combinano elaborazione delle immagini, codifica video e una NPU per telecamere e dispositivi di visione. I componenti più recenti eseguono transformer accanto alle CNN.
Vedere la caratterizzazione delle librerie- Potenza per flusso video
- Calore in contenitori sigillati
- Costo
ASIC AI su misura per il cloud (XPU)
Acceleratori AI che i fornitori di cloud specificano per i propri carichi di lavoro.
Vedere la progettazione full-custom- Core tensoriali efficienti
- Memoria ad alta larghezza di banda
- Tempi di sviluppo
Chip per PC AI e telefoni AI
NPU, GPU e CPU si dividono il lavoro dei modelli, e questi chip raggiungono i consumatori in volumi molto elevati.
Vedere la caratterizzazione delle librerie- Prestazioni sostenute e calore
- Durata della batteria
- Larghezza di banda LPDDR
Chip per automotive e robotica
Gestiscono percezione e pianificazione con requisiti di tempo reale e di sicurezza. Robot umanoidi e droni lavorano con una potenza più limitata.
Vedere la progettazione full-custom- Sicurezza funzionale
- Calore
- Interfacce dei sensori
Chip per occhiali AI e dispositivi indossabili
Chip a consumo molto basso per batterie piccole, spesso abbinati a un coprocessore sempre attivo.
Vedere la caratterizzazione delle librerie- Potenza in modalità sempre attiva
- Calore nella montatura
- Costo della distinta base
Chip per AI vocale
Processori sempre attivi per parole di attivazione, comandi vocali e riduzione del rumore.
Vedere la caratterizzazione delle librerie- Potenza in standby
- Costo
- Dimensione del modello
Chip per il calcolo in memoria
Calcolano all'interno o accanto agli array di memoria per ridurre lo spostamento dei dati, in forma digitale e analogica.
Vedere le celle su misura- Alberi di sommatori e celle di bit
- Capacità per modelli di grandi dimensioni
- Supporto software
Come si applicano le tecniche full-custom ai chip AI
Ogni tecnica della nostra metodologia ha un posto in un chip AI.
Il core di calcolo di un chip AI ripete registro, logica combinatoria, registro. Commuta spesso ed è regolare nella struttura, il che si adatta alla progettazione full-custom.
Celle su misura
Registri, latch, sommatori completi e celle compressore progettati per l'array MAC e la pipeline. Più registri ci sono, maggiore è il guadagno offerto dalle celle sequenziali su misura.
Celle sequenziali multi-bit e dinamiche
I registri multi-bit condividono un solo pin di clock su più bit per ridurre la potenza di clock, e l'architettura decide tra celle statiche o dinamiche, e tra flip-flop o latch.
Caratterizzazione e ricaratterizzazione delle librerie
Le celle su misura vengono caratterizzate e le librerie estese alla reale tensione operativa, con modelli che passano il sign-off insieme alle celle della fonderia.
Netlist manuali
Moltiplicatori, alberi di sommatori e stadi di pipeline dell'RTL vengono mappati su celle su misura, con una denominazione regolare per script e piazzamento.
Piazzamento e routing manuali
Un array MAC viene piazzato in bit slice regolari, accorciando i collegamenti e riducendo l'area. Più grande è l'array, maggiore è il guadagno.
Alberi di clock su misura
Distribuzione del clock progettata per un array regolare, con controllo dello skew e della potenza di clock.
Progettazione a bassa tensione
La potenza dinamica segue il quadrato della tensione. La progettazione full-custom consente a un core di calcolo di funzionare a tensione più bassa, aumentando il calcolo per watt.
Celle a soglia mista
Con il piazzamento manuale, una stessa cella può combinare tipi di soglia diversi, per un'ottimizzazione profonda dei percorsi critici e della potenza.
Alimentazione e IR drop
La rete di alimentazione per il calcolo denso viene progettata insieme al piazzamento, con analisi dell'IR drop statico e dinamico.
Piani tecnici
Piani tecnici full-custom per NPU.
Dal nostro lavoro full-custom sulla NPU per il processore AI di un cliente AI di primo piano, senza i dettagli del cliente.
Due livelli di personalizzazione
La personalizzazione leggera usa una libreria di celle su misura con sintesi e piazzamento e routing automatici. La personalizzazione profonda costruisce blocchi con celle su misura, per un guadagno maggiore e un sign-off più indipendente.
Personalizzazione dell'array MAC
Progettazione su misura a livello di blocco di moltiplicatori in virgola fissa come INT8, alberi di sommatori e registri di pipeline. Più grande è l'array MAC, più la personalizzazione rende.
Valutazione rispetto a un riferimento
Con celle standard e piazzamento e routing automatici come riferimento, si valutano area, potenza e velocità di ciascuna tecnica: celle su misura, netlist manuali, alberi di clock manuali e piazzamento e routing manuali.
Scelta delle celle sequenziali
Flip-flop dinamici, latch dinamici o celle statiche, scelti in base all'architettura e allo schema di clock. Un progetto a latch può usare clock trifase non sovrapposti.
Sign-off a livello di blocco
I blocchi su misura passano il sign-off in modo autonomo, e l'analisi statica di timing al livello top legge i modelli dei blocchi, in linea con il flusso digitale di back-end.
Test del core di calcolo
Un core di calcolo può includere un test funzionale integrato, con vettori funzionali che ne verificano i risultati.
Collaborazione con il front-end
Gerarchia RTL e flusso dei dati chiari, e dati di cella accurati per la simulazione di potenza.
Obiettivi a bassa tensione
Caratterizzazione o ricaratterizzazione delle librerie alla tensione obiettivo, con la simulazione circuitale che calibra i modelli di timing e di potenza delle celle su misura.
Elementi consegnati
Un documento del flusso full-custom e report su celle su misura, netlist a livello di gate e piazzamento e routing.
Modi di collaborare
Quattro fasi, un passo alla volta.
Valutazione tecnica
Lei ci invia le sue domande tecniche; noi rispondiamo in dettaglio e valutiamo l'opportunità della progettazione full-custom.
Piano di ottimizzazione
Analizziamo il suo progetto e proponiamo direzioni, piani tecnici e il miglioramento PPA atteso.
Consulenza di progettazione
Guida al flusso, revisioni di progetto e supporto all'implementazione per il suo team.
Progettazione full-custom
Il servizio di progettazione completo, dal progetto ottimizzato al tape-out, con la consegna di tutti i dati di progetto.
Tecnologie di punta nei chip AI
- Array MAC
- Un array di calcolo composto da molte unità di moltiplicazione e accumulo, al centro delle NPU e dei chip di inferenza.
- HBM (memoria ad alta larghezza di banda)
- DRAM impilata, integrata nel package insieme al processore. I prodotti attuali usano HBM3E e HBM4, e il passo successivo è HBM4E.
- CoWoS e packaging 2.5D
- Packaging avanzato che unisce un processore e la HBM su un interposer. La sua capacità condiziona l'offerta di chip AI di fascia alta.
- Impilamento 3D e hybrid bonding
- Die impilati verticalmente e uniti tramite hybrid bonding, per accorciare le interconnessioni.
- Chiplet e UCIe
- Un grande chip suddiviso in più die. UCIe è uno standard aperto per collegarli.
- Ottica co-packaged (CPO)
- Motori ottici integrati nel package accanto a un chip di switching o di calcolo, per ridurre la potenza dei collegamenti a lunga distanza.
- Calcolo in memoria
- Calcolo all'interno o accanto agli array di memoria, per ridurre lo spostamento dei dati.
- Quantizzazione a bassa precisione
- Pesi e attivazioni rappresentati con meno bit, come INT8, INT4, FP8 o FP4, per ridurre il costo di moltiplicatori e memoria.
- Accelerazione dei transformer
- Datapath ottimizzati per l'attention e il calcolo matriciale.
- KV cache e costo per token
- La KV cache dell'inferenza dei modelli di grandi dimensioni cresce con la lunghezza del contesto, e il costo per token è diventato una misura chiave dei chip di inferenza.
- SRAM di grandi dimensioni
- Pesi del modello o contesto mantenuti sul chip, per ridurre l'energia e la latenza di accesso.
- Network on chip (NoC)
- L'interconnessione on-chip tra unità di calcolo e memoria.
- RISC-V per l'AI
- Processori e acceleratori AI basati sul set di istruzioni aperto.
- Progettazione a bassa tensione e near-threshold
- Un core di calcolo fatto funzionare vicino alla tensione di soglia dei transistor per l'efficienza energetica. La progettazione a bassa tensione si basa su modelli di libreria accurati.
- Alimentazione dal lato posteriore
- La rete di alimentazione spostata sul retro del wafer, per ridurre l'IR drop.
- GAA e 2 nm
- Transistor gate-all-around, che sostituiscono il FinFET alla generazione a 2 nm.
Applicazioni
Applicazioni dei chip AI
Domande sui chip AI
Qual è la differenza tra chip di inferenza e chip di training?
I chip di training ricavano i pesi dei modelli dai dati, quindi contano soprattutto il calcolo in virgola mobile, la larghezza di banda della memoria e l'interconnessione del cluster. I chip di inferenza eseguono modelli addestrati, quindi contano soprattutto costo, potenza e latenza per richiesta.
In che cosa i chip di inferenza LLM differiscono dai chip di inferenza AI?
Un chip di inferenza LLM è un tipo di chip di inferenza AI che genera token per i modelli transformer. Contano soprattutto il costo per token e la larghezza di banda della memoria per la KV cache.
Che cos'è un chip edge AI?
Un chip AI edge o on-device esegue modelli all'interno di un dispositivo come un telefono, un PC, un paio di occhiali o una telecamera, senza dipendere dal cloud. I suoi vincoli principali sono il budget di potenza, la larghezza di banda LPDDR e il costo della distinta base.
Che cos'è un chip NPU?
Una NPU è un processore costruito per i calcoli delle reti neurali, con un array MAC e una memoria locale al centro. Può essere un chip separato o un blocco all'interno di un SoC.
Che cos'è un chip per il calcolo in memoria?
Calcola all'interno o accanto agli array di memoria, riducendo i dati spostati tra memoria e unità di calcolo. Esiste in forma digitale e analogica.
Quali parti di un chip AI si prestano alla progettazione full-custom?
Si prestano meglio i blocchi regolari che commutano spesso, come array MAC, moltiplicatori, alberi di sommatori e registri di pipeline. La logica di controllo e le interfacce restano in un flusso di strumenti standard.
In che modo la caratterizzazione delle librerie e il piazzamento e routing manuali aiutano un chip AI?
La caratterizzazione delle librerie fornisce modelli accurati per le celle su misura e le librerie a bassa tensione, e il piazzamento e routing manuali rendono un array MAC più regolare, con collegamenti più corti. Insieme consentono a un core di calcolo di funzionare a tensione più bassa.
Quali processi supportate?
Siamo cliente diretto di TSMC, e il nostro lavoro di progettazione copre il FinFET a 16 nm, 12 nm, 7 nm e 6 nm.
Pagine correlate
Ha un progetto di chip AI?
Ci indichi il modello, l'obiettivo di calcolo, il budget di potenza e il processo previsto, e le risponderemo.