AI-chips
Full-custom-design til AI-chips.
En AI-chip bruger sin energi og sit areal på nogle få kredsløb, der gentages meget mange gange, og det er dér, full-custom-design gør størst forskel. Med direkte konto hos TSMC tilbyder vi skræddersyede celler, bibliotekskarakterisering, håndlavede netlister, skræddersyede clock trees og manuel placering og routing til chips til AI-inferens, træning, store modeller, edge og vision.
- Proces
- Direkte konto hos TSMC; tilladelse til design på 7 nm FinFET; full-custom AI-chipdesign på 6 nm
- Full-custom-teknikker
- Skræddersyede celler, bibliotekskarakterisering og genkarakterisering, håndlavede netlister, manuel placering og routing, skræddersyede clock trees
- Beregningsblokke
- MAC-arrays, multiplikatorer, addertræer og pipelineregistre
- Måder at samarbejde på
- Teknisk evaluering, optimeringsplan, designrådgivning og full-custom-design
Typer af AI-chips
De AI-chips, som full-custom-teknikker kan bruges til.
Beregningskernen i hver af disse chips har store, regelmæssige, gentagne strukturer, og det er dér, full-custom-design gør størst forskel.
AI-inferenschips
De kører trænede modeller og besvarer forespørgsler, i skyen eller i enheder. Køberne lægger størst vægt på omkostninger, effekt og latenstid pr. forespørgsel.
Se manuel placering og routing- Energi pr. inferens
- Hukommelsesbåndbredde
- MAC-arrayets arealeffektivitet
AI-træningschips
De tilpasser modelvægte ud fra data, som regel i store klynger. Forbindelser og hukommelse betyder lige så meget som beregningskraft.
Se full-custom-design- Effektive tensorkerner med flydende komma
- Hukommelse med høj båndbredde og forbindelser mellem chips
- Effekt på rack-niveau
Inferenschips til store sprogmodeller
De genererer tokens ét ad gangen til transformer-modeller. Arbejdet deler sig i en beregningstung prefill og en hukommelsesbundet decode.
Se håndlavede netlister- Energi og omkostninger pr. token
- Hukommelsesbåndbredde til KV-cache
- Tid til første token
AI-chips til edge og enheder
De kører modeller inde i enheder eller gateways og kører i stigende grad store modeller lokalt.
Se bibliotekskarakterisering- Et stramt effektbudget
- LPDDR-båndbredde
- Styklisteomkostninger
NPU-chips
En neural processorenhed er en blok eller chip bygget til regneoperationerne i neurale netværk. Den er nu standard i processorer til telefoner og pc'er.
Se manuel placering og routing- MAC-arrayets energieffektivitet
- Termiske grænser ved vedvarende belastning
- Samspil med softwarestakken
Vision-AI-chips
De kombinerer billedbehandling, videokodning og en NPU til kameraer og visionenheder. Nyere komponenter kører transformere ved siden af CNN'er.
Se bibliotekskarakterisering- Effekt pr. videostream
- Varme i lukkede kabinetter
- Omkostninger
Skræddersyede AI-ASIC'er til skyen (XPU'er)
AI-acceleratorer, som skyudbydere specificerer til deres egne beregningsopgaver.
Se full-custom-design- Effektive tensorkerner
- Hukommelse med høj båndbredde
- Udviklingstidsplan
Chips til AI-pc'er og AI-telefoner
NPU, GPU og CPU deler modelarbejdet, og disse chips når forbrugerne i meget store styktal.
Se bibliotekskarakterisering- Vedvarende ydeevne og varme
- Batterilevetid
- LPDDR-båndbredde
Chips til biler og robotter
De håndterer perception og planlægning med krav til realtid og sikkerhed. Humanoide robotter og droner arbejder med strammere effektgrænser.
Se full-custom-design- Funktionel sikkerhed
- Varme
- Sensorgrænseflader
Chips til AI-briller og wearables
Chips med meget lavt strømforbrug til små batterier, ofte sammen med en altid aktiv co-processor.
Se bibliotekskarakterisering- Effekt i altid aktiv drift
- Varme i brillestellet
- Styklisteomkostninger
Tale-AI-chips
Altid aktive processorer til vækkeord, stemmekommandoer og støjreduktion.
Se bibliotekskarakterisering- Standbyeffekt
- Omkostninger
- Modelstørrelse
Chips til in-memory computing
De regner inde i eller ved siden af hukommelsesarrays for at mindske dataflytning, i digitale og analoge former.
Se skræddersyede celler- Addertræer og bitceller
- Kapacitet til store modeller
- Softwareunderstøttelse
Sådan bruges full-custom-teknikker i AI-chips
Hver teknik i vores metodik har sin plads i en AI-chip.
En AI-chips beregningskerne gentager register, kombinatorisk logik, register. Den skifter ofte og har en regelmæssig struktur, hvilket passer til full-custom-design.
Skræddersyede celler
Registre, latches, fuldaddere og kompressorceller designet til MAC-arrayet og pipelinen. Jo flere registre, jo større gevinst ved skræddersyede sekventielle celler.
Multibit- og dynamiske sekventielle celler
Multibit-registre deler én clockpin på tværs af flere bit for at sænke clockeffekten, og arkitekturen afgør valget mellem statiske og dynamiske celler og mellem flip-flops og latches.
Bibliotekskarakterisering og genkarakterisering
Skræddersyede celler karakteriseres, og biblioteker udvides til den faktiske driftsspænding, med modeller, der får sign-off sammen med foundryens celler.
Håndlavede netlister
Multiplikatorer, addertræer og pipelinetrin i RTL'en mappes til skræddersyede celler, med regelmæssig navngivning til scripts og placering.
Manuel placering og routing
Et MAC-array placeres i regelmæssige bit slices, hvilket forkorter ledninger og mindsker arealet. Jo større array, jo større gevinst.
Skræddersyede clock trees
Clockfordeling designet til et regelmæssigt array, så skew og clockeffekt holdes under kontrol.
Lavspændingsdesign
Dynamisk effekt følger spændingens kvadrat. Full-custom-design lader en beregningskerne køre ved lavere spænding, hvilket øger beregningskraften pr. watt.
Celler med blandede tærskler
Med håndplacering kan én celle blande tærskeltyper, til dyb optimering af kritiske stier og effekt.
Strømforsyning og IR-drop
Strømnettet til tæt beregningslogik designes sammen med placeringen, med statisk og dynamisk analyse af IR-drop.
Tekniske planer
Tekniske full-custom-planer til NPU'er.
Fra vores full-custom NPU-arbejde til en førende AI-kundes AI-processor, med kundeoplysninger fjernet.
To niveauer af tilpasning
Let tilpasning bruger et skræddersyet cellebibliotek med syntese og automatiseret placering og routing. Dyb tilpasning bygger blokke af skræddersyede celler, for en større gevinst og mere selvstændigt sign-off.
Tilpasning af MAC-arrays
Skræddersyet design på blokniveau af fastkommamultiplikatorer som INT8, addertræer og pipelineregistre. Jo større MAC-array, jo mere betaler tilpasningen sig.
Evaluering mod en baseline
Med standardceller og automatiseret placering og routing som baseline evalueres skræddersyede celler, håndlavede netlister, manuelle clock trees og manuel placering og routing hver for sig på areal, effekt og hastighed.
Valg af sekventielle celler
Dynamiske flip-flops, dynamiske latches eller statiske celler, valgt efter arkitektur og clockskema. Et latch-design kan bruge trefasede clocks uden overlap.
Sign-off på blokniveau
Skræddersyede blokke får sign-off for sig, og statisk timinganalyse på topniveau læser blokmodellerne, i takt med det digitale back-end-flow.
Test af beregningskernen
En beregningskerne kan have indbygget funktionstest, med funktionelle vektorer, der kontrollerer dens resultater.
Samarbejde med front-end
Klart RTL-hierarki og dataflow samt nøjagtige celledata til effektsimulering.
Mål for lav spænding
Bibliotekskarakterisering eller genkarakterisering ved målspændingen, hvor kredsløbssimulering kalibrerer timing- og effektmodellerne for skræddersyede celler.
Leverancer
Et dokument om full-custom-flowet samt rapporter om skræddersyede celler, netlister på gateniveau og placering og routing.
Måder at samarbejde på
Fire faser, ét skridt ad gangen.
Teknisk evaluering
Du sender dine tekniske spørgsmål; vi svarer detaljeret og vurderer, om full-custom-design giver mening.
Optimeringsplan
Vi analyserer dit design og foreslår retninger, tekniske planer og den forventede PPA-forbedring.
Designrådgivning
Vejledning i flowet, designgennemgange og implementeringsstøtte til dit team.
Full-custom-design
Den fulde designydelse fra optimeret design til tape-out, med levering af alle designdata.
Aktuelle teknologier i AI-chips
- MAC-array
- Et beregningsarray af mange multiply-accumulate-enheder, kernen i NPU'er og inferenschips.
- HBM (hukommelse med høj båndbredde)
- Stablet DRAM kapslet sammen med processoren. Aktuelle produkter bruger HBM3E og HBM4, og HBM4E er det næste.
- CoWoS og 2.5D-kapsling
- Avanceret kapsling, der forbinder en processor og HBM på en interposer. Kapaciteten påvirker forsyningen af avancerede AI-chips.
- 3D-stakning og hybrid bonding
- Dies stablet lodret og forbundet med hybrid bonding for at forkorte forbindelserne.
- Chiplets og UCIe
- En stor chip opdelt i flere dies. UCIe er en åben standard til at forbinde dem.
- Co-packaged optics (CPO)
- Optiske enheder kapslet ved siden af en switch- eller beregningschip for at sænke effekten i lange forbindelser.
- In-memory computing
- Beregning inde i eller ved siden af hukommelsesarrays for at mindske dataflytning.
- Kvantisering med lav præcision
- Vægte og aktiveringer lagret i færre bit, såsom INT8, INT4, FP8 eller FP4, for at sænke omkostningerne til multiplikatorer og hukommelse.
- Transformer-acceleration
- Dataveje optimeret til attention og matrixberegning.
- KV-cache og omkostning pr. token
- KV-cachen ved inferens med store modeller vokser med kontekstlængden, og omkostning pr. token er blevet et centralt mål for inferenschips.
- Stor SRAM
- Modelvægte eller kontekst lagret på chippen for at sænke adgangsenergi og latenstid.
- Netværk på chip (NoC)
- Forbindelserne på chippen mellem beregningsenheder og hukommelse.
- RISC-V til AI
- AI-processorer og acceleratorer baseret på det åbne instruktionssæt.
- Design ved lav spænding og nær tærskelspænding
- En beregningskerne, der kører tæt på transistorens tærskelspænding af hensyn til energieffektiviteten. Lavspændingsdesign bygger på nøjagtige biblioteksmodeller.
- Strømforsyning fra bagsiden
- Strømnettet flyttet til waferens bagside for at sænke IR-drop.
- GAA og 2 nm
- Gate-all-around-transistorer, som afløser FinFET i 2 nm-generationen.
Anvendelser
Anvendelser af AI-chips
Spørgsmål om AI-chips
Hvad er forskellen på inferenschips og træningschips?
Træningschips tilpasser modelvægte ud fra data, så beregning med flydende komma, hukommelsesbåndbredde og forbindelser i klyngen betyder mest. Inferenschips kører trænede modeller, så omkostninger, effekt og latenstid pr. forespørgsel betyder mest.
Hvordan adskiller LLM-inferenschips sig fra AI-inferenschips?
En LLM-inferenschip er en type AI-inferenschip, der genererer tokens til transformer-modeller. Omkostning pr. token og hukommelsesbåndbredde til KV-cachen betyder mest.
Hvad er en edge-AI-chip?
En AI-chip til edge eller enheder kører modeller inde i en enhed som en telefon, en pc, et par briller eller et kamera uden at være afhængig af skyen. De vigtigste grænser er effektbudgettet, LPDDR-båndbredden og styklisteomkostningerne.
Hvad er en NPU-chip?
En NPU er en processor bygget til regneoperationerne i neurale netværk, med et MAC-array og lokal hukommelse som kerne. Den kan være en separat chip eller en blok i en SoC.
Hvad er en chip til in-memory computing?
Den regner inde i eller ved siden af hukommelsesarrays og mindsker de data, der flyttes mellem hukommelse og beregningsenheder. Den findes i digitale og analoge former.
Hvilke dele af en AI-chip passer til full-custom-design?
Regelmæssige blokke, der skifter ofte, passer bedst, såsom MAC-arrays, multiplikatorer, addertræer og pipelineregistre. Kontrollogik og grænseflader forbliver i et standardværktøjsflow.
Hvordan hjælper bibliotekskarakterisering og manuel placering og routing en AI-chip?
Bibliotekskarakterisering giver skræddersyede celler og lavspændingsbiblioteker nøjagtige modeller, og manuel placering og routing gør et MAC-array mere regelmæssigt med kortere ledninger. Tilsammen lader de en beregningskerne køre ved lavere spænding.
Hvilke processer understøtter I?
Vi har direkte konto hos TSMC, og vores designarbejde omfatter FinFET på 16 nm, 12 nm, 7 nm og 6 nm.
Relaterede sider
Har du et AI-chipprojekt?
Fortæl os om modellen, beregningsmålet, effektbudgettet og målprocessen, så vender vi tilbage.