KI-brikker
Full-custom-design for KI-brikker.
En KI-brikke bruker energien og arealet sitt på noen få kretser som gjentas svært mange ganger, og det er der full-custom-design gir mest. Som direktekunde hos TSMC (direct account) tilbyr vi skreddersydde celler, bibliotekkarakterisering, håndlagde nettlister, skreddersydde klokketrær og manuell plassering og ruting for brikker til KI-inferens, trening, store modeller, edge og maskinsyn.
- Prosess
- Direktekunde hos TSMC (direct account); tillatelse til design på 7 nm FinFET; full-custom KI-brikkedesign på 6 nm
- Full-custom-teknikker
- Skreddersydde celler, bibliotekkarakterisering og ny karakterisering, håndlagde nettlister, manuell plassering og ruting, skreddersydde klokketrær
- Beregningsblokker
- MAC-matriser, multiplikatorer, addisjonstrær og pipeline-registre
- Måter å samarbeide på
- Teknisk evaluering, optimaliseringsplan, designrådgivning og full-custom-design
Typer KI-brikker
KI-brikkene full-custom-teknikker kan brukes på.
Beregningskjernen i hver av disse brikkene har store, regelmessige, gjentatte strukturer, og det er der full-custom-design gir mest.
KI-inferensbrikker
Disse kjører ferdigtrente modeller og besvarer forespørsler, i skyen eller i enheter. Kjøpere er mest opptatt av kostnad, effekt og forsinkelse per forespørsel.
Se manuell plassering og ruting- Energi per inferens
- Minnebåndbredde
- Arealeffektivitet i MAC-matrisen
KI-treningsbrikker
Disse tilpasser modellvekter fra data, som regel i store klynger. Sammenkobling og minne betyr like mye som beregningskraft.
Se full-custom-design- Effektive tensorkjerner for flyttall
- Minne med høy båndbredde og forbindelser mellom brikker
- Effekt på racknivå
Inferensbrikker for store språkmodeller
Disse genererer tokens ett og ett for transformer-modeller. Arbeidet deles i beregningstung prefill og minnebundet dekoding.
Se håndlagde nettlister- Energi og kostnad per token
- Minnebåndbredde for KV-cache
- Tid til første token
KI-brikker for edge og enheter
Disse kjører modeller inne i enheter eller gatewayer, og i økende grad lokale store modeller.
Se bibliotekkarakterisering- Et strengt effektbudsjett
- LPDDR-båndbredde
- Materialkostnad
NPU-brikker
En nevral prosesseringsenhet er en blokk eller brikke bygget for regneoperasjonene i nevrale nettverk. Den er nå standard i prosessorer til telefoner og PC-er.
Se manuell plassering og ruting- Energieffektivitet i MAC-matrisen
- Termiske grenser ved vedvarende belastning
- Samspill med programvarestakken
KI-brikker for maskinsyn
Disse kombinerer bildebehandling, videokoding og en NPU for kameraer og synsenheter. Nyere komponenter kjører transformer-modeller ved siden av CNN-er.
Se bibliotekkarakterisering- Effekt per videostrøm
- Varme i forseglede kabinetter
- Kostnad
Skreddersydde KI-ASIC-er for skyen (XPU-er)
KI-akseleratorer som skyleverandører spesifiserer for sine egne arbeidslaster.
Se full-custom-design- Effektive tensorkjerner
- Minne med høy båndbredde
- Utviklingstidsplan
Brikker for KI-PC-er og KI-telefoner
NPU, GPU og CPU deler modellarbeidet, og disse brikkene når forbrukerne i svært store antall.
Se bibliotekkarakterisering- Vedvarende ytelse og varme
- Batteritid
- LPDDR-båndbredde
Brikker for bil og robotikk
Disse håndterer persepsjon og planlegging med krav til sanntid og sikkerhet. Humanoide roboter og droner arbeider med strammere effektrammer.
Se full-custom-design- Funksjonell sikkerhet
- Varme
- Sensorgrensesnitt
Brikker for KI-briller og kroppsbårne enheter
Brikker med svært lav effekt for små batterier, ofte sammen med en alltid-på-koprosessor.
Se bibliotekkarakterisering- Effekt i alltid-på-drift
- Varme i brillestellet
- Materialkostnad
KI-brikker for tale
Alltid-på-prosessorer for vekkeord, talekommandoer og støyreduksjon.
Se bibliotekkarakterisering- Effekt i standby
- Kostnad
- Modellstørrelse
Brikker for minneintern beregning
Disse regner inne i eller ved siden av minnematriser for å redusere dataflytting, i digitale og analoge varianter.
Se skreddersydde celler- Addisjonstrær og bitceller
- Kapasitet for store modeller
- Programvarestøtte
Slik brukes full-custom-teknikker i KI-brikker
Hver teknikk i metodikken vår har en plass i en KI-brikke.
Beregningskjernen i en KI-brikke gjentar register, kombinatorisk logikk, register. Den svitsjer ofte og har en regelmessig struktur, noe som passer full-custom-design.
Skreddersydde celler
Registre, låsekretser, fulladdere og kompressorceller designet for MAC-matrisen og pipelinen. Jo flere registre, desto større gevinst av skreddersydde sekvensielle celler.
Multibit- og dynamiske sekvensielle celler
Multibit-registre deler én klokkepinne mellom flere bit for å senke klokkeeffekten, og arkitekturen avgjør valget mellom statiske og dynamiske celler og mellom vipper og låsekretser.
Bibliotekkarakterisering og ny karakterisering
Skreddersydde celler karakteriseres og biblioteker utvides til den faktiske driftsspenningen, med modeller som godkjennes i sign-off sammen med foundrycellene.
Håndlagde nettlister
Multiplikatorer, addisjonstrær og pipeline-trinn i RTL-en mappes til skreddersydde celler, med regelmessig navngiving for skript og plassering.
Manuell plassering og ruting
En MAC-matrise plasseres i regelmessige bit slices, noe som forkorter ledningene og reduserer arealet. Jo større matrise, desto større gevinst.
Skreddersydde klokketrær
Klokkefordeling designet for en regelmessig matrise, med kontroll på skew og klokkeeffekt.
Lavspenningsdesign
Dynamisk effekt følger kvadratet av spenningen. Full-custom-design lar en beregningskjerne kjøre på lavere spenning og gir mer beregning per watt.
Celler med blandede terskler
Med håndplassering kan én celle blande terskeltyper, for dyp optimalisering av kritiske baner og effekt.
Strømforsyning og IR-fall
Strømnettet for tett beregning designes sammen med plasseringen, med statisk og dynamisk analyse av IR-fall.
Tekniske planer
Tekniske full-custom-planer for NPU-er.
Fra vårt full-custom NPU-arbeid for KI-prosessoren til en ledende KI-kunde, uten kundeopplysninger.
To nivåer av tilpasning
Lett tilpasning bruker et skreddersydd cellebibliotek med syntese og automatisert plassering og ruting. Dyp tilpasning bygger blokker av skreddersydde celler, for større gevinst og mer selvstendig sign-off.
Tilpasning av MAC-matrisen
Skreddersydd design på blokknivå av fastkommamultiplikatorer som INT8, addisjonstrær og pipeline-registre. Jo større MAC-matrise, desto mer lønner tilpasning seg.
Evaluering mot en referanse
Med standardceller og automatisert plassering og ruting som referanse evalueres skreddersydde celler, håndlagde nettlister, manuelle klokketrær og manuell plassering og ruting hver for seg for areal, effekt og hastighet.
Valg av sekvensielle celler
Dynamiske vipper, dynamiske låsekretser eller statiske celler, valgt etter arkitektur og klokkeskjema. Et design med låsekretser kan bruke trefasede klokker uten overlapp.
Sign-off på blokknivå
Skreddersydde blokker godkjennes hver for seg i sign-off, og statisk timinganalyse på toppnivå leser blokkmodellene, i takt med den digitale back-end-flyten.
Test av beregningskjernen
En beregningskjerne kan ha innebygd funksjonstest, med funksjonelle vektorer som kontrollerer resultatene.
Samarbeid med front-end
Tydelig RTL-hierarki og dataflyt, og nøyaktige celledata for effektsimulering.
Mål for lav spenning
Bibliotekkarakterisering eller ny karakterisering ved målspenningen, der kretssimulering kalibrerer timing- og effektmodellene for skreddersydde celler.
Leveranser
Et dokument for full-custom-flyten og rapporter om skreddersydde celler, nettlister på portnivå og plassering og ruting.
Måter å samarbeide på
Fire faser, ett steg om gangen.
Teknisk evaluering
Du sender de tekniske spørsmålene dine; vi svarer grundig og vurderer om full-custom-design lønner seg.
Optimaliseringsplan
Vi analyserer designet ditt og foreslår retninger, tekniske planer og forventet PPA-forbedring.
Designrådgivning
Veiledning i flyten, designgjennomganger og støtte til implementeringen for teamet ditt.
Full-custom-design
Hele designtjenesten fra optimalisert design til tape-out, med levering av komplette designdata.
Aktuelle teknologier i KI-brikker
- MAC-matrise
- En beregningsmatrise av mange multipliser-akkumuler-enheter, selve kjernen i NPU-er og inferensbrikker.
- HBM (minne med høy båndbredde)
- Stablet DRAM i samme kapsel som prosessoren. Dagens produkter bruker HBM3E og HBM4, og HBM4E kommer som neste generasjon.
- CoWoS og 2.5D-innkapsling
- Avansert innkapsling som kobler en prosessor og HBM sammen på en interposer. Kapasiteten former tilgangen på avanserte KI-brikker.
- 3D-stabling og hybridbonding
- Brikker stablet vertikalt og koblet sammen med hybridbonding, for å forkorte forbindelsene.
- Chiplets og UCIe
- En stor brikke delt opp i flere silisiumbrikker. UCIe er en åpen standard for å koble dem sammen.
- Samkapslet optikk (CPO)
- Optiske motorer i samme kapsel som en svitsj- eller beregningsbrikke, for å senke effekten i forbindelser over lang avstand.
- Minneintern beregning
- Beregning inne i eller ved siden av minnematriser for å redusere dataflytting.
- Kvantisering med lav presisjon
- Vekter og aktiveringer lagret med færre bit, for eksempel INT8, INT4, FP8 eller FP4, for å redusere kostnaden for multiplikatorer og minne.
- Transformer-akselerasjon
- Dataveier optimalisert for attention og matriseregning.
- KV-cache og kostnad per token
- KV-cachen ved inferens med store modeller vokser med kontekstlengden, og kostnad per token er blitt et viktig mål for inferensbrikker.
- Stor SRAM
- Modellvekter eller kontekst lagret på brikken, for å senke energibruk og forsinkelse ved tilgang.
- Nettverk på brikken (NoC)
- Sammenkoblingen på brikken mellom beregningsenheter og minne.
- RISC-V for KI
- KI-prosessorer og akseleratorer basert på det åpne instruksjonssettet.
- Design med lav spenning og nær terskel
- En beregningskjerne som kjøres nær transistorens terskelspenning for energieffektivitet. Lavspenningsdesign bygger på nøyaktige bibliotekmodeller.
- Strømforsyning fra baksiden
- Strømnettet flyttet til baksiden av waferen, for å senke IR-fallet.
- GAA og 2 nm
- Gate-all-around-transistorer, som erstatter FinFET i 2 nm-generasjonen.
Bruksområder
Bruksområder for KI-brikker
Spørsmål om KI-brikker
Hva er forskjellen på inferensbrikker og treningsbrikker?
Treningsbrikker tilpasser modellvekter fra data, så flyttallsberegning, minnebåndbredde og sammenkobling i klyngen betyr mest. Inferensbrikker kjører ferdigtrente modeller, så kostnad, effekt og forsinkelse per forespørsel betyr mest.
Hvordan skiller LLM-inferensbrikker seg fra KI-inferensbrikker?
En LLM-inferensbrikke er en type KI-inferensbrikke som genererer tokens for transformer-modeller. Kostnad per token og minnebåndbredde for KV-cachen betyr mest.
Hva er en edge-KI-brikke?
En KI-brikke for edge eller enheter kjører modeller inne i en enhet som en telefon, en PC, et par briller eller et kamera, uten å være avhengig av skyen. De viktigste rammene er effektbudsjett, LPDDR-båndbredde og materialkostnad.
Hva er en NPU-brikke?
En NPU er en prosessor bygget for regneoperasjonene i nevrale nettverk, med en MAC-matrise og lokalt minne som kjerne. Den kan være en egen brikke eller en blokk i en SoC.
Hva er en brikke for minneintern beregning?
Den regner inne i eller ved siden av minnematriser og reduserer dataene som flyttes mellom minne og beregningsenheter. Den finnes i digitale og analoge varianter.
Hvilke deler av en KI-brikke egner seg for full-custom-design?
Regelmessige blokker som svitsjer ofte egner seg best, for eksempel MAC-matriser, multiplikatorer, addisjonstrær og pipeline-registre. Kontrollogikk og grensesnitt blir i en standard verktøyflyt.
Hvordan hjelper bibliotekkarakterisering og manuell plassering og ruting en KI-brikke?
Bibliotekkarakterisering gir skreddersydde celler og lavspenningsbiblioteker nøyaktige modeller, og manuell plassering og ruting gjør en MAC-matrise mer regelmessig, med kortere ledninger. Sammen lar de en beregningskjerne kjøre på lavere spenning.
Hvilke prosesser støtter dere?
Vi er direktekunde hos TSMC (direct account), og designarbeidet vårt omfatter FinFET på 16 nm, 12 nm, 7 nm og 6 nm.
Relaterte sider
Har du et prosjekt med KI-brikker?
Fortell oss om modellen, beregningsmålet, effektbudsjettet og ønsket prosess, så svarer vi.