AI-chips
Full-customontwerp voor AI-chips.
Een AI-chip besteedt zijn energie en oppervlak aan een paar schakelingen die heel vaak terugkomen, en juist daar levert full-customontwerp het meest op. Als directe klant van TSMC bieden we cellen op maat, bibliotheekkarakterisering, handgemaakte netlists, klokbomen op maat en handmatige plaatsing en routing voor AI-chips voor inferentie, training, grote modellen, edge en vision.
- Proces
- Directe klant van TSMC; autorisatie voor ontwerp op 7 nm FinFET; full-customontwerp van AI-chips op 6 nm
- Full-customtechnieken
- Cellen op maat, bibliotheekkarakterisering en herkarakterisering, handgemaakte netlists, handmatige plaatsing en routing, klokbomen op maat
- Rekenblokken
- MAC-arrays, vermenigvuldigers, optellerbomen en pipelineregisters
- Manieren om samen te werken
- Technische evaluatie, optimalisatieplan, ontwerpadvies en full-customontwerp
Typen AI-chips
De AI-chips waarvoor full-customtechnieken van dienst kunnen zijn.
De rekenkern van elk van deze chips heeft grote, regelmatige, zich herhalende structuren, en juist daar levert full-customontwerp het meest op.
AI-inferentiechips
Deze chips draaien getrainde modellen en beantwoorden aanvragen, in de cloud of in apparaten. Kopers letten vooral op kosten, vermogen en latentie per aanvraag.
Bekijk handmatige plaatsing en routing- Energie per inferentie
- Geheugenbandbreedte
- Oppervlakte-efficiëntie van de MAC-array
AI-trainingschips
Deze chips bepalen modelgewichten uit data, meestal in grote clusters. Interconnect en geheugen zijn even belangrijk als rekenkracht.
Bekijk full-customontwerp- Efficiënte floating-point-tensorkernen
- Geheugen met hoge bandbreedte en verbindingen tussen chips
- Vermogen op rackniveau
Inferentiechips voor grote taalmodellen
Deze chips genereren tokens een voor een voor transformermodellen. Het werk valt uiteen in rekenintensieve prefill en geheugengebonden decode.
Bekijk handgemaakte netlists- Energie en kosten per token
- Geheugenbandbreedte voor de KV-cache
- Tijd tot het eerste token
Edge- en on-device-AI-chips
Deze chips draaien modellen in apparaten of gateways, en steeds vaker ook grote modellen lokaal.
Bekijk bibliotheekkarakterisering- Een strikt vermogensbudget
- LPDDR-bandbreedte
- Stuklijstkosten
NPU-chips
Een neural processing unit is een blok of chip die is gebouwd voor de rekenkunde van neurale netwerken. Hij is inmiddels standaard in processors voor telefoons en pc's.
Bekijk handmatige plaatsing en routing- Energie-efficiëntie van de MAC-array
- Thermische grenzen bij langdurige belasting
- Aansluiting op de softwarestack
Vision-AI-chips
Deze chips combineren beeldverwerking, videocodering en een NPU voor camera's en vision-apparaten. Nieuwere chips draaien transformers naast CNN's.
Bekijk bibliotheekkarakterisering- Vermogen per videostream
- Warmte in gesloten behuizingen
- Kosten
Cloud-AI-ASIC's op maat (XPU's)
AI-accelerators die cloudaanbieders specificeren voor hun eigen workloads.
Bekijk full-customontwerp- Efficiënte tensorkernen
- Geheugen met hoge bandbreedte
- Ontwikkelplanning
Chips voor AI-pc's en AI-telefoons
De NPU, GPU en CPU delen het modelwerk, en deze chips bereiken consumenten in zeer grote aantallen.
Bekijk bibliotheekkarakterisering- Prestaties en warmte bij langdurige belasting
- Batterijduur
- LPDDR-bandbreedte
Chips voor auto's en robotica
Deze chips verzorgen waarneming en planning met eisen aan realtimegedrag en veiligheid. Humanoïde robots en drones hebben minder vermogen beschikbaar.
Bekijk full-customontwerp- Functionele veiligheid
- Warmte
- Sensorinterfaces
Chips voor AI-brillen en wearables
Chips met zeer laag vermogen voor kleine batterijen, vaak gecombineerd met een altijd actieve coprocessor.
Bekijk bibliotheekkarakterisering- Vermogen in altijd-aan-modus
- Warmte in het montuur
- Stuklijstkosten
Spraak-AI-chips
Altijd actieve processors voor activeringswoorden, spraakopdrachten en ruisonderdrukking.
Bekijk bibliotheekkarakterisering- Stand-byvermogen
- Kosten
- Modelgrootte
In-memory-computingchips
Deze chips rekenen in of naast geheugenarrays om dataverkeer te beperken, in digitale en analoge vormen.
Bekijk cellen op maat- Optellerbomen en bitcellen
- Capaciteit voor grote modellen
- Softwareondersteuning
Hoe full-customtechnieken in AI-chips worden toegepast
Elke techniek uit onze methodiek heeft een plaats in een AI-chip.
De rekenkern van een AI-chip herhaalt steeds register, combinatorische logica, register. Hij schakelt vaak en heeft een regelmatige structuur, en dat past bij full-customontwerp.
Cellen op maat
Registers, latches, volle optellers en compressorcellen, ontworpen voor de MAC-array en de pipeline. Hoe meer registers, hoe groter de winst van sequentiële cellen op maat.
Multi-bit en dynamische sequentiële cellen
Multi-bit registers delen één klokpin over meerdere bits om het klokvermogen te verlagen, en de architectuur bepaalt de keuze tussen statische of dynamische cellen en tussen flipflops of latches.
Bibliotheekkarakterisering en herkarakterisering
Cellen op maat worden gekarakteriseerd en bibliotheken worden uitgebreid naar de werkelijke bedrijfsspanning, met modellen die samen met de foundrycellen worden afgetekend.
Handgemaakte netlists
Vermenigvuldigers, optellerbomen en pipelinefasen in de RTL worden afgebeeld op cellen op maat, met regelmatige namen voor scripts en plaatsing.
Handmatige plaatsing en routing
Een MAC-array wordt in regelmatige bit slices geplaatst, wat de bedrading verkort en het oppervlak verkleint. Hoe groter de array, hoe groter de winst.
Klokbomen op maat
Klokdistributie ontworpen voor een regelmatige array, met beheersing van skew en klokvermogen.
Ontwerp voor lage spanning
Dynamisch vermogen volgt het kwadraat van de spanning. Met full-customontwerp kan een rekenkern op een lagere spanning draaien, wat de rekenkracht per watt verhoogt.
Cellen met gemengde drempels
Bij handmatige plaatsing kan één cel verschillende drempeltypen combineren, voor diepgaande optimalisatie van kritieke paden en vermogen.
Voedingsdistributie en IR-drop
Het voedingsnetwerk voor dichte rekenlogica wordt samen met de plaatsing ontworpen, met statische en dynamische IR-drop-analyse.
Technische plannen
Technische full-customplannen voor NPU's.
Uit ons full-customwerk aan NPU's voor de AI-processor van een toonaangevende AI-klant, zonder klantgegevens.
Twee niveaus van maatwerk
Licht maatwerk gebruikt een celbibliotheek op maat met synthese en geautomatiseerde plaatsing en routing. Diepgaand maatwerk bouwt blokken uit cellen op maat, voor meer winst en een zelfstandiger sign-off.
Maatwerk voor de MAC-array
Ontwerp op maat op blokniveau van vastekommavermenigvuldigers zoals INT8, optellerbomen en pipelineregisters. Hoe groter de MAC-array, hoe meer maatwerk oplevert.
Evaluatie tegen een baseline
Met standaardcellen en geautomatiseerde plaatsing en routing als baseline worden cellen op maat, handgemaakte netlists, handmatige klokbomen en handmatige plaatsing en routing elk beoordeeld op oppervlak, vermogen en snelheid.
Keuze van sequentiële cellen
Dynamische flipflops, dynamische latches of statische cellen, gekozen op basis van architectuur en klokschema. Een latchontwerp kan driefasige, niet-overlappende klokken gebruiken.
Sign-off op blokniveau
Blokken op maat worden zelfstandig afgetekend, en de statische timinganalyse op topniveau leest de blokmodellen, in lijn met de digitale back-endflow.
Test van de rekenkern
Een rekenkern kan een ingebouwde functionele test bevatten, met functionele vectoren die de resultaten controleren.
Samenwerking met de front-end
Een duidelijke RTL-hiërarchie en datastroom, en nauwkeurige celgegevens voor vermogenssimulatie.
Doelen voor lage spanning
Bibliotheekkarakterisering of herkarakterisering op de doelspanning, waarbij schakelingssimulatie de timing- en vermogensmodellen van cellen op maat kalibreert.
Op te leveren resultaten
Een document over de full-customflow, en rapporten over cellen op maat, netlists op poortniveau en plaatsing en routing.
Manieren om samen te werken
Vier fasen, stap voor stap.
Technische evaluatie
U stuurt uw technische vragen; wij antwoorden uitvoerig en beoordelen wat full-customontwerp kan opleveren.
Optimalisatieplan
We analyseren uw ontwerp en stellen richtingen, technische plannen en de verwachte PPA-verbetering voor.
Ontwerpadvies
Begeleiding bij de flow, ontwerpreviews en ondersteuning bij de implementatie voor uw team.
Full-customontwerp
De volledige ontwerpdienst, van geoptimaliseerd ontwerp tot tape-out, met oplevering van de complete ontwerpgegevens.
Actuele technologieën in AI-chips
- MAC-array
- Een rekenarray van vele multiply-accumulate-eenheden, het hart van NPU's en inferentiechips.
- HBM (geheugen met hoge bandbreedte)
- Gestapeld DRAM dat samen met de processor in een behuizing zit. Huidige producten gebruiken HBM3E en HBM4, en HBM4E is de volgende stap.
- CoWoS en 2.5D-packaging
- Geavanceerde packaging die een processor en HBM op een interposer samenbrengt. De capaciteit ervan bepaalt mede het aanbod van high-end AI-chips.
- 3D-stacking en hybrid bonding
- Dies die verticaal zijn gestapeld en met hybrid bonding zijn verbonden, om de interconnect te verkorten.
- Chiplets en UCIe
- Een grote chip die is opgedeeld in meerdere dies. UCIe is een open standaard om ze te verbinden.
- Co-packaged optics (CPO)
- Optische engines die naast een switch- of rekenchip in de behuizing zitten, om het vermogen van verbindingen over lange afstand te verlagen.
- In-memory computing
- Rekenen in of naast geheugenarrays om dataverkeer te beperken.
- Kwantisatie met lage precisie
- Gewichten en activaties die in minder bits worden bewaard, zoals INT8, INT4, FP8 of FP4, om de kosten van vermenigvuldigers en geheugen te verlagen.
- Transformerversnelling
- Datapaden die zijn geoptimaliseerd voor attention en matrixrekenkunde.
- KV-cache en kosten per token
- De KV-cache bij inferentie van grote modellen groeit met de contextlengte, en de kosten per token zijn een belangrijke maatstaf voor inferentiechips geworden.
- Groot SRAM
- Modelgewichten of context die op de chip worden bewaard, om toegangsenergie en latentie te verlagen.
- Network on chip (NoC)
- De interconnect op de chip tussen rekeneenheden en geheugen.
- RISC-V voor AI
- AI-processors en accelerators op basis van de open instructieset.
- Ontwerp voor lage spanning en near-threshold
- Een rekenkern die dicht bij de drempelspanning van de transistor draait, voor energie-efficiëntie. Ontwerp voor lage spanning steunt op nauwkeurige bibliotheekmodellen.
- Voeding aan de achterzijde
- Het voedingsnetwerk wordt naar de achterkant van de wafer verplaatst, om de IR-drop te verlagen.
- GAA en 2 nm
- Gate-all-around-transistors, die FinFET vervangen bij de generatie van 2 nm.
Toepassingen
Toepassingen van AI-chips
Vragen over AI-chips
Wat is het verschil tussen inferentiechips en trainingschips?
Trainingschips bepalen modelgewichten uit data, dus floating-point-rekenkracht, geheugenbandbreedte en clusterinterconnect zijn het belangrijkst. Inferentiechips draaien getrainde modellen, dus kosten, vermogen en latentie per aanvraag zijn het belangrijkst.
Hoe verschillen LLM-inferentiechips van AI-inferentiechips?
Een LLM-inferentiechip is een soort AI-inferentiechip die tokens genereert voor transformermodellen. De kosten per token en de geheugenbandbreedte voor de KV-cache zijn het belangrijkst.
Wat is een edge-AI-chip?
Een edge- of on-device-AI-chip draait modellen in een apparaat zoals een telefoon, pc, bril of camera, zonder afhankelijk te zijn van de cloud. De belangrijkste grenzen zijn het vermogensbudget, de LPDDR-bandbreedte en de stuklijstkosten.
Wat is een NPU-chip?
Een NPU is een processor die is gebouwd voor de rekenkunde van neurale netwerken, met een MAC-array en lokaal geheugen als kern. Het kan een aparte chip zijn of een blok in een SoC.
Wat is een in-memory-computingchip?
Zo'n chip rekent in of naast geheugenarrays, waardoor er minder data tussen geheugen en rekeneenheden hoeft te bewegen. Hij bestaat in digitale en analoge vormen.
Welke delen van een AI-chip zijn geschikt voor full-customontwerp?
Regelmatige blokken die vaak schakelen zijn het meest geschikt, zoals MAC-arrays, vermenigvuldigers, optellerbomen en pipelineregisters. Besturingslogica en interfaces blijven in een standaard toolflow.
Hoe helpen bibliotheekkarakterisering en handmatige plaatsing en routing een AI-chip?
Bibliotheekkarakterisering geeft cellen op maat en laagspanningsbibliotheken nauwkeurige modellen, en handmatige plaatsing en routing maakt een MAC-array regelmatiger, met kortere bedrading. Samen laten ze een rekenkern op een lagere spanning draaien.
Welke processen ondersteunt Chipchain?
We zijn directe klant van TSMC, en ons ontwerpwerk omvat FinFET op 16 nm, 12 nm, 7 nm en 6 nm.
Gerelateerde pagina's
Hebt u een AI-chipproject?
Vertel ons het model, het rekendoel, het vermogensbudget en het beoogde proces, dan reageren we.