AI-chip
Full custom-design för AI-chip.
Ett AI-chips energi och yta går till ett fåtal kretsar som upprepas mycket många gånger, och det är där full custom-design ger mest. Som direktkund hos TSMC erbjuder vi specialkonstruerade celler, bibliotekskarakterisering, handkonstruerade nätlistor, specialkonstruerade klockträd och manuell placering och routning för chip för AI-inferens, träning, stora modeller, edge och datorseende.
- Process
- Direktkund hos TSMC; designtillstånd för 7 nm FinFET; AI-chipdesign i full custom på 6 nm
- Full custom-tekniker
- Specialkonstruerade celler, bibliotekskarakterisering och omkarakterisering, handkonstruerade nätlistor, manuell placering och routning, specialkonstruerade klockträd
- Beräkningsblock
- MAC-matriser, multiplikatorer, adderarträd och pipelineregister
- Sätt att samarbeta
- Teknisk utvärdering, optimeringsplan, designkonsultation och full custom-design
Typer av AI-chip
De AI-chip som full custom-tekniker kan användas för.
Beräkningskärnan i vart och ett av de här chipen har stora, regelbundna, upprepade strukturer, och det är där full custom-design ger mest.
AI-inferenschip
De kör tränade modeller och besvarar förfrågningar, i molnet eller i enheter. Köpare bryr sig mest om kostnad, effekt och latens per förfrågan.
Se manuell placering och routning- Energi per inferens
- Minnesbandbredd
- MAC-matrisens yteffektivitet
AI-träningschip
De anpassar modellvikter utifrån data, oftast i stora kluster. Sammankoppling och minne betyder lika mycket som beräkningskraft.
Se full custom-design- Effektiva tensorkärnor med flyttal
- Minne med hög bandbredd och länkar mellan chip
- Effekt på racknivå
Inferenschip för stora språkmodeller
De genererar tokens en i taget för transformermodeller. Arbetet delas upp i beräkningstung prefill och minnesbegränsad avkodning.
Se handkonstruerade nätlistor- Energi och kostnad per token
- Minnesbandbredd för KV-cachen
- Tid till första token
AI-chip för edge och enheter
De kör modeller inuti enheter eller gateways, och allt oftare lokala stora modeller.
Se bibliotekskarakterisering- En strikt effektbudget
- LPDDR-bandbredd
- Materialkostnad
NPU-chip
En neural processorenhet är ett block eller chip byggt för aritmetiken i neurala nätverk. Den är numera standard i processorer för telefoner och datorer.
Se manuell placering och routning- MAC-matrisens energieffektivitet
- Termiska gränser vid uthållig last
- Anpassning till programvarustacken
AI-chip för datorseende
De kombinerar bildbehandling, videokodning och en NPU för kameror och enheter för datorseende. Nyare komponenter kör transformers vid sidan av CNN.
Se bibliotekskarakterisering- Effekt per videoström
- Värme i slutna höljen
- Kostnad
Kundanpassade AI-ASIC:ar för molnet (XPU:er)
AI-acceleratorer som molnleverantörer specificerar för sina egna arbetslaster.
Se full custom-design- Effektiva tensorkärnor
- Minne med hög bandbredd
- Utvecklingstidsplan
Chip för AI-datorer och AI-telefoner
NPU, GPU och CPU delar på modellarbetet, och de här chipen når konsumenterna i mycket stora volymer.
Se bibliotekskarakterisering- Uthållig prestanda och värme
- Batteritid
- LPDDR-bandbredd
Chip för fordon och robotik
De hanterar perception och planering med krav på realtid och säkerhet. Humanoida robotar och drönare arbetar med snävare effektramar.
Se full custom-design- Funktionell säkerhet
- Värme
- Sensorgränssnitt
Chip för AI-glasögon och bärbara enheter
Chip med mycket låg effekt för små batterier, ofta kombinerade med en ständigt påslagen samprocessor.
Se bibliotekskarakterisering- Effekt i ständigt påslaget läge
- Värme i bågen
- Materialkostnad
AI-chip för tal
Ständigt påslagna processorer för väckningsord, röstkommandon och brusreducering.
Se bibliotekskarakterisering- Effekt i viloläge
- Kostnad
- Modellstorlek
Chip för beräkning i minnet
De räknar inuti eller bredvid minnesmatriser för att minska dataförflyttningen, i digital och analog form.
Se specialkonstruerade celler- Adderarträd och bitceller
- Kapacitet för stora modeller
- Programvarustöd
Så tillämpas full custom-tekniker på AI-chip
Varje teknik i vår metodik har en plats i ett AI-chip.
Beräkningskärnan i ett AI-chip upprepar register, kombinatorisk logik, register. Den växlar ofta och har en regelbunden struktur, vilket passar full custom-design.
Specialkonstruerade celler
Register, låskretsar, fulladderare och kompressorceller konstruerade för MAC-matrisen och pipelinen. Ju fler register, desto större vinst av specialkonstruerade sekventiella celler.
Multibits- och dynamiska sekventiella celler
Multibitsregister delar ett klockstift över flera bitar för att sänka klockeffekten, och arkitekturen avgör valet mellan statiska och dynamiska celler och mellan vippor och låskretsar.
Bibliotekskarakterisering och omkarakterisering
Specialkonstruerade celler karakteriseras och biblioteken utökas till den verkliga driftspänningen, med modeller som går igenom sign-off tillsammans med foundryns celler.
Handkonstruerade nätlistor
Multiplikatorer, adderarträd och pipelinesteg i RTL:en mappas till specialkonstruerade celler, med regelbunden namngivning för skript och placering.
Manuell placering och routning
En MAC-matris placeras i regelbundna bit slices, vilket kortar ledningarna och minskar ytan. Ju större matris, desto större vinst.
Specialkonstruerade klockträd
Klockdistribution konstruerad för en regelbunden matris, som styr skew och klockeffekt.
Lågspänningsdesign
Dynamisk effekt följer spänningens kvadrat. Full custom-design låter en beräkningskärna arbeta vid lägre spänning, vilket höjer beräkningskraften per watt.
Celler med blandade trösklar
Med handplacering kan en cell blanda tröskeltyper, för djup optimering av kritiska vägar och effekt.
Kraftmatning och IR-fall
Kraftnätet för tät beräkningslogik konstrueras tillsammans med placeringen, med analys av statiskt och dynamiskt IR-fall.
Tekniska planer
Tekniska planer i full custom för NPU:er.
Från vårt arbete med NPU i full custom för AI-processorn hos en ledande AI-kund, med kunduppgifterna borttagna.
Två nivåer av anpassning
Lätt anpassning använder ett specialkonstruerat cellbibliotek med syntes och automatiserad placering och routning. Djup anpassning bygger block av specialkonstruerade celler, för större vinst och mer självständig sign-off.
Anpassning av MAC-matrisen
Specialkonstruktion på blocknivå av multiplikatorer för fixtal, till exempel INT8, adderarträd och pipelineregister. Ju större MAC-matris, desto mer lönar sig anpassningen.
Utvärdering mot en baslinje
Med standardceller och automatiserad placering och routning som baslinje utvärderas specialkonstruerade celler, handkonstruerade nätlistor, manuella klockträd och manuell placering och routning var för sig med avseende på yta, effekt och hastighet.
Val av sekventiella celler
Dynamiska vippor, dynamiska låskretsar eller statiska celler, valda efter arkitektur och klockschema. En konstruktion med låskretsar kan använda trefasklockor utan överlappning.
Sign-off på blocknivå
Specialkonstruerade block går igenom sign-off för sig, och statisk timinganalys på toppnivå läser blockmodellerna, i takt med det digitala back-end-flödet.
Test av beräkningskärnan
En beräkningskärna kan ha inbyggt funktionstest, med funktionella vektorer som kontrollerar resultaten.
Samarbete med front-end
Tydlig RTL-hierarki och dataflöde, och korrekta celldata för effektsimulering.
Lågspänningsmål
Bibliotekskarakterisering eller omkarakterisering vid målspänningen, där kretssimulering kalibrerar timing- och effektmodellerna för specialkonstruerade celler.
Leveranser
Ett dokument över flödet i full custom, och rapporter om specialkonstruerade celler, nätlistor på grindnivå samt placering och routning.
Sätt att samarbeta
Fyra steg, ett i taget.
Teknisk utvärdering
Du skickar dina tekniska frågor; vi svarar utförligt och bedömer om full custom-design är motiverad.
Optimeringsplan
Vi analyserar din konstruktion och föreslår inriktningar, tekniska planer och den förväntade PPA-förbättringen.
Designkonsultation
Vägledning i flödet, designgranskningar och implementationsstöd för ditt team.
Full custom-design
Hela designtjänsten från optimerad konstruktion till tape-out, med fullständiga designdata levererade.
Aktuella tekniker inom AI-chip
- MAC-matris
- En beräkningsmatris av många multiplicera-ackumulera-enheter, kärnan i NPU:er och inferenschip.
- HBM (minne med hög bandbredd)
- Staplat DRAM som kapslas tillsammans med processorn. Dagens produkter använder HBM3E och HBM4, och HBM4E står på tur.
- CoWoS och 2.5D-kapsling
- Avancerad kapsling som förenar en processor och HBM på en interposer. Dess kapacitet påverkar tillgången på avancerade AI-chip.
- 3D-stapling och hybridbondning
- Chip som staplas vertikalt och förenas med hybridbondning, för att korta sammankopplingen.
- Chiplets och UCIe
- Ett stort chip uppdelat i flera mindre. UCIe är en öppen standard för att koppla ihop dem.
- Samkapslad optik (CPO)
- Optiska enheter som kapslas bredvid ett switch- eller beräkningschip, för att sänka effekten i länkar med lång räckvidd.
- Beräkning i minnet
- Beräkning inuti eller bredvid minnesmatriser för att minska dataförflyttningen.
- Kvantisering med låg precision
- Vikter och aktiveringar som lagras med färre bitar, till exempel INT8, INT4, FP8 eller FP4, för att minska kostnaden för multiplikatorer och minne.
- Transformeracceleration
- Datavägar optimerade för attention och matrisaritmetik.
- KV-cache och kostnad per token
- KV-cachen vid inferens med stora modeller växer med kontextlängden, och kostnad per token har blivit ett viktigt mått på inferenschip.
- Stort SRAM
- Modellvikter eller kontext som lagras på chipet, för att sänka åtkomstenergi och latens.
- Nätverk på chip (NoC)
- Sammankopplingen på chipet mellan beräkningsenheter och minne.
- RISC-V för AI
- AI-processorer och acceleratorer baserade på den öppna instruktionsuppsättningen.
- Design vid låg spänning och nära tröskeln
- En beräkningskärna som körs nära transistorns tröskelspänning för energieffektivitet. Lågspänningsdesign bygger på korrekta biblioteksmodeller.
- Kraftmatning från baksidan
- Kraftnätet flyttas till waferns baksida, för att sänka IR-fallet.
- GAA och 2 nm
- Gate-all-around-transistorer, som ersätter FinFET i generationen 2 nm.
Tillämpningar
Tillämpningar för AI-chip
Frågor om AI-chip
Vad är skillnaden mellan inferenschip och träningschip?
Träningschip anpassar modellvikter utifrån data, så flyttalsberäkning, minnesbandbredd och sammankoppling i klustret betyder mest. Inferenschip kör tränade modeller, så kostnad, effekt och latens per förfrågan betyder mest.
Hur skiljer sig LLM-inferenschip från AI-inferenschip?
Ett LLM-inferenschip är en typ av AI-inferenschip som genererar tokens för transformermodeller. Kostnad per token och minnesbandbredden för KV-cachen betyder mest.
Vad är ett edge-AI-chip?
Ett AI-chip för edge eller enheter kör modeller inuti en enhet, till exempel en telefon, dator, ett par glasögon eller en kamera, utan att vara beroende av molnet. De viktigaste begränsningarna är effektbudget, LPDDR-bandbredd och materialkostnad.
Vad är ett NPU-chip?
En NPU är en processor byggd för aritmetiken i neurala nätverk, med en MAC-matris och lokalt minne som kärna. Den kan vara ett eget chip eller ett block i en SoC.
Vad är ett chip för beräkning i minnet?
Det räknar inuti eller bredvid minnesmatriser och minskar den data som flyttas mellan minne och beräkningsenheter. Det finns i digital och analog form.
Vilka delar av ett AI-chip passar för full custom-design?
Regelbundna block som växlar ofta passar bäst, till exempel MAC-matriser, multiplikatorer, adderarträd och pipelineregister. Styrlogik och gränssnitt stannar i ett standardverktygsflöde.
Hur hjälper bibliotekskarakterisering och manuell placering och routning ett AI-chip?
Bibliotekskarakterisering ger specialkonstruerade celler och lågspänningsbibliotek korrekta modeller, och manuell placering och routning gör en MAC-matris mer regelbunden med kortare ledningar. Tillsammans låter de en beräkningskärna arbeta vid lägre spänning.
Vilka processer stöder ni?
Vi är direktkund hos TSMC, och vårt designarbete omfattar FinFET på 16 nm, 12 nm, 7 nm och 6 nm.
Relaterade sidor
Har du ett AI-chipprojekt?
Berätta om modellen, beräkningsmålet, effektbudgeten och målprocessen, så svarar vi.