KI-Chips
Full-Custom-Design für KI-Chips.
Ein KI-Chip verbraucht seine Energie und Fläche in wenigen Schaltungen, die sich sehr oft wiederholen, und genau dort bringt Full-Custom-Design am meisten. Als Direktkunde von TSMC bieten wir Custom-Zellen, Bibliothekscharakterisierung, handgefertigte Netzlisten, Custom-Taktbäume und manuelles Place-and-Route für KI-Chips für Inferenz, Training, große Modelle, Edge und Vision.
- Prozess
- TSMC-Direktkunde; Autorisierung für FinFET-Design in 7 nm; Full-Custom-KI-Chipdesign in 6 nm
- Full-Custom-Techniken
- Custom-Zellen, Bibliothekscharakterisierung und Neucharakterisierung, handgefertigte Netzlisten, manuelles Place-and-Route, Custom-Taktbäume
- Rechenblöcke
- MAC-Arrays, Multiplizierer, Addierbäume und Pipeline-Register
- Wege der Zusammenarbeit
- Technische Bewertung, Optimierungsplan, Designberatung und Full-Custom-Design
KI-Chip-Typen
Die KI-Chips, für die sich Full-Custom-Techniken eignen.
Der Rechenkern jedes dieser Chips besteht aus großen, regelmäßigen, sich wiederholenden Strukturen, und genau dort bringt Full-Custom-Design am meisten.
KI-Inferenz-Chips
Sie führen trainierte Modelle aus und beantworten Anfragen, in der Cloud oder in Geräten. Für Käufer zählen vor allem Kosten, Leistungsaufnahme und Latenz pro Anfrage.
Manuelles Place-and-Route ansehen- Energie pro Inferenz
- Speicherbandbreite
- Flächeneffizienz des MAC-Arrays
KI-Trainings-Chips
Sie passen Modellgewichte anhand von Daten an, meist in großen Clustern. Interconnect und Speicher zählen ebenso viel wie die Rechenleistung.
Full-Custom-Design ansehen- Effiziente Gleitkomma-Tensorkerne
- Speicher mit hoher Bandbreite und Chip-zu-Chip-Verbindungen
- Leistungsaufnahme auf Rack-Ebene
Inferenz-Chips für große Sprachmodelle
Sie erzeugen für Transformer-Modelle Token für Token. Die Arbeit teilt sich in rechenintensives Prefill und speichergebundenes Decode.
Handgefertigte Netzlisten ansehen- Energie und Kosten pro Token
- Speicherbandbreite für den KV-Cache
- Zeit bis zum ersten Token
Edge- und On-Device-KI-Chips
Sie führen Modelle in Geräten oder Gateways aus und zunehmend auch große Modelle lokal.
Bibliothekscharakterisierung ansehen- Ein strenges Leistungsbudget
- LPDDR-Bandbreite
- Stücklistenkosten
NPU-Chips
Eine Neural Processing Unit ist ein Block oder Chip für die Rechenoperationen neuronaler Netze. Sie gehört heute zum Standard in Smartphone- und PC-Prozessoren.
Manuelles Place-and-Route ansehen- Energieeffizienz des MAC-Arrays
- Thermische Grenzen im Dauerbetrieb
- Passung zum Software-Stack
Vision-KI-Chips
Sie vereinen Bildverarbeitung, Videocodierung und eine NPU für Kameras und Vision-Geräte. Neuere Bauteile führen Transformer neben CNNs aus.
Bibliothekscharakterisierung ansehen- Leistungsaufnahme pro Videostream
- Wärme in geschlossenen Gehäusen
- Kosten
Cloud-KI-ASICs nach Maß (XPUs)
KI-Beschleuniger, die Cloud-Anbieter für ihre eigenen Workloads spezifizieren.
Full-Custom-Design ansehen- Effiziente Tensorkerne
- Speicher mit hoher Bandbreite
- Entwicklungszeitplan
Chips für KI-PCs und KI-Smartphones
NPU, GPU und CPU teilen sich die Modellarbeit, und diese Chips erreichen Verbraucher in sehr großen Stückzahlen.
Bibliothekscharakterisierung ansehen- Dauerleistung und Wärme
- Akkulaufzeit
- LPDDR-Bandbreite
Chips für Automobil und Robotik
Sie übernehmen Wahrnehmung und Planung unter Echtzeit- und Sicherheitsanforderungen. Humanoide Roboter und Drohnen arbeiten mit einem engeren Leistungsbudget.
Full-Custom-Design ansehen- Funktionale Sicherheit
- Wärme
- Sensorschnittstellen
Chips für KI-Brillen und Wearables
Chips mit sehr geringer Leistungsaufnahme für kleine Akkus, oft mit einem ständig aktiven Coprozessor kombiniert.
Bibliothekscharakterisierung ansehen- Leistungsaufnahme im Always-on-Betrieb
- Wärme im Brillengestell
- Stücklistenkosten
Sprach-KI-Chips
Ständig aktive Prozessoren für Aktivierungswörter, Sprachbefehle und Rauschunterdrückung.
Bibliothekscharakterisierung ansehen- Standby-Leistung
- Kosten
- Modellgröße
In-Memory-Computing-Chips
Sie rechnen in oder neben Speicherarrays, um Datenbewegungen zu verringern, in digitaler und analoger Form.
Custom-Zellen ansehen- Addierbäume und Bitzellen
- Kapazität für große Modelle
- Software-Unterstützung
Wie sich Full-Custom-Techniken auf KI-Chips anwenden lassen
Jede Technik unserer Methodik hat ihren Platz in einem KI-Chip.
Der Rechenkern eines KI-Chips wiederholt die Folge Register, kombinatorische Logik, Register. Er schaltet häufig und ist regelmäßig aufgebaut, was zum Full-Custom-Design passt.
Custom-Zellen
Register, Latches, Volladdierer und Kompressorzellen, entworfen für das MAC-Array und die Pipeline. Je mehr Register, desto größer der Gewinn durch sequenzielle Custom-Zellen.
Multi-Bit- und dynamische sequenzielle Zellen
Multi-Bit-Register teilen sich einen Takt-Pin über mehrere Bits und senken so die Taktleistung, und die Architektur entscheidet zwischen statischen und dynamischen Zellen sowie zwischen Flipflops und Latches.
Charakterisierung und Neucharakterisierung von Bibliotheken
Custom-Zellen werden charakterisiert und Bibliotheken auf die tatsächliche Betriebsspannung erweitert, mit Modellen, die zusammen mit den Foundry-Zellen freigegeben werden.
Handgefertigte Netzlisten
Multiplizierer, Addierbäume und Pipeline-Stufen im RTL werden auf Custom-Zellen abgebildet, mit einheitlicher Benennung für Skripte und Platzierung.
Manuelles Place-and-Route
Ein MAC-Array wird in regelmäßigen Bit-Slices platziert, was Leitungen verkürzt und Fläche spart. Je größer das Array, desto größer der Gewinn.
Custom-Taktbäume
Eine für ein regelmäßiges Array entworfene Taktverteilung, die Skew und Taktleistung kontrolliert.
Niederspannungsdesign
Die dynamische Leistung folgt dem Quadrat der Spannung. Full-Custom-Design ermöglicht es, einen Rechenkern bei niedrigerer Spannung zu betreiben, und erhöht so die Rechenleistung pro Watt.
Zellen mit gemischten Schwellspannungen
Mit Handplatzierung kann eine Zelle Schwellspannungstypen mischen, für die tiefe Optimierung kritischer Pfade und der Leistungsaufnahme.
Stromversorgung und IR-Drop
Das Versorgungsnetz für dichte Rechenlogik wird zusammen mit der Platzierung entworfen, mit statischer und dynamischer IR-Drop-Analyse.
Technische Konzepte
Technische Full-Custom-Konzepte für NPUs.
Aus unserer Full-Custom-NPU-Arbeit für den KI-Prozessor eines führenden KI-Kunden, ohne Kundendetails.
Zwei Tiefen der Anpassung
Die leichte Anpassung nutzt eine Custom-Zellbibliothek mit Synthese und automatisiertem Place-and-Route. Die tiefe Anpassung baut Blöcke aus Custom-Zellen auf, für einen größeren Gewinn und einen eigenständigeren Sign-off.
Anpassung des MAC-Arrays
Custom-Design auf Blockebene für Festkomma-Multiplizierer wie INT8, Addierbäume und Pipeline-Register. Je größer das MAC-Array, desto mehr lohnt sich die Anpassung.
Bewertung gegen eine Referenz
Mit Standardzellen und automatisiertem Place-and-Route als Referenz werden Custom-Zellen, handgefertigte Netzlisten, manuelle Taktbäume und manuelles Place-and-Route jeweils nach Fläche, Leistungsaufnahme und Geschwindigkeit bewertet.
Wahl der sequenziellen Zellen
Dynamische Flipflops, dynamische Latches oder statische Zellen, je nach Architektur und Taktschema. Ein Latch-Design kann dreiphasige, nicht überlappende Takte nutzen.
Sign-off auf Blockebene
Custom-Blöcke werden eigenständig freigegeben, und die statische Timing-Analyse auf oberster Ebene liest die Blockmodelle, abgestimmt auf den digitalen Back-End-Flow.
Test des Rechenkerns
Ein Rechenkern kann einen eingebauten Funktionstest enthalten, mit Funktionsvektoren, die seine Ergebnisse prüfen.
Zusammenarbeit mit dem Front-End
Klare RTL-Hierarchie und klarer Datenfluss sowie genaue Zelldaten für die Leistungssimulation.
Niederspannungsziele
Charakterisierung oder Neucharakterisierung der Bibliothek bei der Zielspannung, wobei Schaltungssimulation die Timing- und Leistungsmodelle der Custom-Zellen kalibriert.
Lieferumfang
Ein Dokument zum Full-Custom-Flow sowie Berichte zu Custom-Zellen, Gate-Level-Netzlisten und Place-and-Route.
Wege der Zusammenarbeit
Vier Stufen, Schritt für Schritt.
Technische Bewertung
Sie senden uns Ihre technischen Fragen; wir antworten ausführlich und bewerten, ob sich Full-Custom-Design lohnt.
Optimierungsplan
Wir analysieren Ihr Design und schlagen Richtungen, technische Konzepte und die erwartete PPA-Verbesserung vor.
Designberatung
Anleitung zum Flow, Design-Reviews und Unterstützung bei der Umsetzung für Ihr Team.
Full-Custom-Design
Der vollständige Design-Service vom optimierten Design bis zum Tape-out, mit Lieferung der kompletten Designdaten.
Aktuelle Technologien bei KI-Chips
- MAC-Array
- Ein Rechen-Array aus vielen Multiply-Accumulate-Einheiten, das Herzstück von NPUs und Inferenz-Chips.
- HBM (Speicher mit hoher Bandbreite)
- Gestapeltes DRAM, das zusammen mit dem Prozessor gehäust wird. Aktuelle Produkte nutzen HBM3E und HBM4, als Nächstes folgt HBM4E.
- CoWoS und 2.5D-Packaging
- Advanced Packaging, das einen Prozessor und HBM auf einem Interposer verbindet. Seine Kapazität prägt das Angebot an High-End-KI-Chips.
- 3D-Stacking und Hybrid Bonding
- Vertikal gestapelte Dies, die durch Hybrid Bonding verbunden werden, um den Interconnect zu verkürzen.
- Chiplets und UCIe
- Ein großer Chip, aufgeteilt in mehrere Dies. UCIe ist ein offener Standard für ihre Verbindung.
- Co-Packaged Optics (CPO)
- Optische Engines, die neben einem Switch- oder Rechenchip gehäust werden, um die Leistungsaufnahme von Verbindungen mit großer Reichweite zu senken.
- In-Memory-Computing
- Rechnen in oder neben Speicherarrays, um Datenbewegungen zu verringern.
- Quantisierung mit niedriger Präzision
- Gewichte und Aktivierungen in weniger Bits, etwa INT8, INT4, FP8 oder FP4, um die Kosten von Multiplizierern und Speicher zu senken.
- Transformer-Beschleunigung
- Datenpfade, optimiert für Attention und Matrixrechnung.
- KV-Cache und Kosten pro Token
- Der KV-Cache bei der Inferenz großer Modelle wächst mit der Kontextlänge, und die Kosten pro Token sind zu einem zentralen Maß für Inferenz-Chips geworden.
- Großes SRAM
- Modellgewichte oder Kontext auf dem Chip, um Zugriffsenergie und Latenz zu senken.
- On-Chip-Netzwerk (NoC)
- Der Interconnect auf dem Chip zwischen Recheneinheiten und Speicher.
- RISC-V für KI
- KI-Prozessoren und Beschleuniger auf Basis des offenen Befehlssatzes.
- Niederspannungs- und Near-Threshold-Design
- Ein Rechenkern, der für hohe Energieeffizienz nahe der Schwellspannung der Transistoren betrieben wird. Niederspannungsdesign beruht auf genauen Bibliotheksmodellen.
- Rückseitige Stromversorgung
- Das Versorgungsnetz wird auf die Rückseite des Wafers verlegt, um den IR-Drop zu senken.
- GAA und 2 nm
- Gate-All-Around-Transistoren, die FinFET in der 2-nm-Generation ablösen.
Anwendungen
Anwendungen von KI-Chips
Fragen zu KI-Chips
Worin unterscheiden sich Inferenz-Chips und Trainings-Chips?
Trainings-Chips passen Modellgewichte anhand von Daten an, daher zählen vor allem Gleitkomma-Rechenleistung, Speicherbandbreite und Cluster-Interconnect. Inferenz-Chips führen trainierte Modelle aus, daher zählen vor allem Kosten, Leistungsaufnahme und Latenz pro Anfrage.
Worin unterscheiden sich LLM-Inferenz-Chips von KI-Inferenz-Chips?
Ein LLM-Inferenz-Chip ist eine Art KI-Inferenz-Chip, der Token für Transformer-Modelle erzeugt. Am wichtigsten sind die Kosten pro Token und die Speicherbandbreite für den KV-Cache.
Was ist ein Edge-KI-Chip?
Ein Edge- oder On-Device-KI-Chip führt Modelle in einem Gerät aus, etwa einem Smartphone, PC, einer Brille oder Kamera, ohne auf die Cloud angewiesen zu sein. Die wichtigsten Grenzen sind das Leistungsbudget, die LPDDR-Bandbreite und die Stücklistenkosten.
Was ist ein NPU-Chip?
Eine NPU ist ein Prozessor für die Rechenoperationen neuronaler Netze, in dessen Kern ein MAC-Array und lokaler Speicher stehen. Sie kann ein eigener Chip oder ein Block in einem SoC sein.
Was ist ein In-Memory-Computing-Chip?
Er rechnet in oder neben Speicherarrays und verringert so die Daten, die zwischen Speicher und Recheneinheiten bewegt werden. Es gibt ihn in digitaler und analoger Form.
Welche Teile eines KI-Chips eignen sich für Full-Custom-Design?
Am besten eignen sich regelmäßige Blöcke, die häufig schalten, etwa MAC-Arrays, Multiplizierer, Addierbäume und Pipeline-Register. Steuerlogik und Schnittstellen bleiben in einem Standard-Tool-Flow.
Wie helfen Bibliothekscharakterisierung und manuelles Place-and-Route einem KI-Chip?
Die Bibliothekscharakterisierung gibt Custom-Zellen und Niederspannungsbibliotheken genaue Modelle, und manuelles Place-and-Route macht ein MAC-Array regelmäßiger, mit kürzeren Leitungen. Zusammen ermöglichen sie den Betrieb eines Rechenkerns bei niedrigerer Spannung.
Welche Prozesse unterstützen Sie?
Wir sind Direktkunde von TSMC, und unsere Designarbeit umfasst FinFET in 16 nm, 12 nm, 7 nm und 6 nm.
Verwandte Seiten
Haben Sie ein KI-Chip-Projekt?
Nennen Sie uns das Modell, das Rechenziel, das Leistungsbudget und den Zielprozess, und wir melden uns.