Yapay zekâ çipleri
Yapay zekâ çipleri için tam özel tasarım.
Bir yapay zekâ çipi, enerjisini ve alanını defalarca tekrarlanan birkaç devreye harcar; tam özel tasarımın en çok katkı sağladığı yer de burasıdır. TSMC'de doğrudan hesabı bulunan bir şirket olarak; yapay zekâ çıkarım, eğitim, büyük model, uç ve görüntü işleme çipleri için özel hücreler, kütüphane karakterizasyonu, elle hazırlanmış netlist'ler, özel saat ağaçları ve elle yerleştirme ve yönlendirme sunuyoruz.
- Süreç
- TSMC doğrudan hesabı; 7 nm FinFET tasarım yetkisi; 6 nm'de yapay zekâ odaklı tam özel çip tasarımı
- Tam özel tasarım teknikleri
- Özel hücreler, kütüphane karakterizasyonu ve yeniden karakterizasyon, elle hazırlanmış netlist'ler, elle yerleştirme ve yönlendirme, özel saat ağaçları
- Hesaplama blokları
- MAC dizileri, çarpıcılar, toplayıcı ağaçları ve boru hattı yazmaçları
- Birlikte çalışma yolları
- Teknik değerlendirme, optimizasyon planı, tasarım danışmanlığı ve tam özel tasarım
Yapay zekâ çipi türleri
Tam özel tasarım tekniklerinin hizmet edebileceği yapay zekâ çipleri.
Bu çiplerin her birinin hesaplama çekirdeğinde büyük, düzenli ve tekrarlanan yapılar bulunur; tam özel tasarımın en çok katkı sağladığı yer de burasıdır.
Yapay zekâ çıkarım çipleri
Eğitilmiş modelleri bulutta veya cihazlarda çalıştırır ve istekleri yanıtlar. Alıcılar için en önemlisi istek başına maliyet, güç ve gecikmedir.
Elle yerleştirme ve yönlendirmeyi inceleyin- Çıkarım başına enerji
- Bellek bant genişliği
- MAC dizisinin alan verimliliği
Yapay zekâ eğitim çipleri
Genellikle büyük kümelerde, model ağırlıklarını verilerden öğrenir. Ara bağlantı ve bellek, hesaplama kadar önemlidir.
Tam özel tasarımı inceleyin- Verimli kayan noktalı tensör çekirdekleri
- Yüksek bant genişlikli bellek ve çipler arası bağlantılar
- Kabin düzeyinde güç
Büyük dil modeli çıkarım çipleri
Transformer modelleri için token'ları tek tek üretir. İş, hesaplama ağırlıklı prefill ve belleğin sınırladığı decode olarak ikiye ayrılır.
Elle hazırlanmış netlist'leri inceleyin- Token başına enerji ve maliyet
- KV önbelleği bellek bant genişliği
- İlk token'a kadar geçen süre
Uç ve cihaz içi yapay zekâ çipleri
Modelleri cihazların veya ağ geçitlerinin içinde çalıştırır; yerel büyük modelleri de giderek daha fazla çalıştırır.
Kütüphane karakterizasyonunu inceleyin- Sıkı bir güç bütçesi
- LPDDR bant genişliği
- Malzeme listesi maliyeti
NPU çipleri
Nöral işlem birimi, sinir ağı aritmetiği için tasarlanmış bir blok veya çiptir. Bugün telefon ve bilgisayar işlemcilerinde standarttır.
Elle yerleştirme ve yönlendirmeyi inceleyin- MAC dizisinin enerji verimliliği
- Sürekli çalışmada ısıl sınırlar
- Yazılım yığınıyla uyum
Görüntü işleme odaklı yapay zekâ çipleri
Kameralar ve görüntüleme cihazları için görüntü işleme, video kodlama ve NPU'yu bir araya getirir. Yeni parçalar CNN'lerin yanında transformer'ları da çalıştırır.
Kütüphane karakterizasyonunu inceleyin- Video akışı başına güç
- Kapalı gövdelerde ısı
- Maliyet
Özel bulut yapay zekâ ASIC'leri (XPU)
Bulut sağlayıcılarının kendi iş yükleri için tanımladığı yapay zekâ hızlandırıcıları.
Tam özel tasarımı inceleyin- Verimli tensör çekirdekleri
- Yüksek bant genişlikli bellek
- Geliştirme takvimi
Yapay zekâ bilgisayarı ve telefonu çipleri
Model işini NPU, GPU ve CPU paylaşır; bu çipler tüketicilere çok yüksek hacimlerde ulaşır.
Kütüphane karakterizasyonunu inceleyin- Sürekli performans ve ısı
- Pil ömrü
- LPDDR bant genişliği
Otomotiv ve robotik çipleri
Gerçek zamanlılık ve güvenlik gereksinimleriyle algılama ve planlama yapar. İnsansı robotlar ve dronlar daha kısıtlı güçle çalışır.
Tam özel tasarımı inceleyin- İşlevsel güvenlik
- Isı
- Sensör arayüzleri
Yapay zekâ gözlüğü ve giyilebilir cihaz çipleri
Küçük piller için çok düşük güçlü çipler; çoğu zaman sürekli açık bir yardımcı işlemciyle eşleştirilir.
Kütüphane karakterizasyonunu inceleyin- Sürekli açık çalışma gücü
- Çerçevedeki ısı
- Malzeme listesi maliyeti
Konuşma odaklı yapay zekâ çipleri
Uyandırma sözcükleri, ses komutları ve gürültü azaltma için sürekli açık işlemciler.
Kütüphane karakterizasyonunu inceleyin- Bekleme gücü
- Maliyet
- Model boyutu
Bellek içi hesaplama çipleri
Veri taşımayı azaltmak için bellek dizilerinin içinde veya yanında hesaplama yapar; dijital ve analog biçimleri vardır.
Özel hücreleri inceleyin- Toplayıcı ağaçları ve bit hücreleri
- Büyük modeller için kapasite
- Yazılım desteği
Tam özel tasarım teknikleri yapay zekâ çiplerine nasıl uygulanır
Metodolojimizdeki her tekniğin yapay zekâ çipinde bir yeri var.
Bir yapay zekâ çipinin hesaplama çekirdeği yazmaç, kombinasyonel mantık, yazmaç düzenini tekrarlar. Sık anahtarlanır ve yapısı düzenlidir; bu da tam özel tasarıma uygundur.
Özel hücreler
MAC dizisi ve boru hattı için tasarlanan yazmaçlar, mandallar, tam toplayıcılar ve sıkıştırıcı hücreler. Yazmaç sayısı arttıkça özel ardışık hücrelerin kazancı da artar.
Çok bitli ve dinamik ardışık hücreler
Çok bitli yazmaçlar, saat gücünü düşürmek için tek bir saat pinini birkaç bit arasında paylaşır; statik veya dinamik hücre ile flip-flop veya mandal seçimini mimari belirler.
Kütüphane karakterizasyonu ve yeniden karakterizasyon
Özel hücreler karakterize edilir ve kütüphaneler gerçek çalışma gerilimine genişletilir; modellerin sign-off'u dökümhane hücreleriyle birlikte yapılır.
Elle hazırlanmış netlist'ler
RTL'deki çarpıcılar, toplayıcı ağaçları ve boru hattı aşamaları özel hücrelere eşlenir; düzenli adlandırma betikleri ve yerleştirmeyi kolaylaştırır.
Elle yerleştirme ve yönlendirme
MAC dizisi düzenli bit dilimleri hâlinde yerleştirilir; böylece bağlantı hatları kısalır ve alan azalır. Dizi büyüdükçe kazanç da artar.
Özel saat ağaçları
Düzenli bir dizi için tasarlanan saat dağıtımı; skew ve saat gücünü kontrol eder.
Düşük gerilimde tasarım
Dinamik güç gerilimin karesiyle değişir. Tam özel tasarım, hesaplama çekirdeğinin daha düşük gerilimde çalışmasını sağlayarak watt başına hesaplamayı artırır.
Karma eşikli hücreler
Elle yerleştirmeyle tek bir hücrede farklı eşik tipleri birleştirilebilir; kritik yollar ve güç derinlemesine optimize edilir.
Güç dağıtımı ve IR düşümü
Yoğun hesaplama için güç ağı yerleştirmeyle birlikte tasarlanır; statik ve dinamik IR düşümü analizi yapılır.
Teknik planlar
NPU'lar için tam özel teknik planlar.
Önde gelen bir yapay zekâ müşterisinin yapay zekâ işlemcisi için yaptığımız tam özel NPU çalışmalarından; müşteri ayrıntıları çıkarılmıştır.
İki özelleştirme derinliği
Hafif özelleştirmede özel hücre kütüphanesi, sentez ve otomatik yerleştirme ve yönlendirmeyle kullanılır. Derin özelleştirmede bloklar özel hücrelerden oluşturulur; kazanç daha büyük, sign-off daha bağımsızdır.
MAC dizisi özelleştirmesi
INT8 gibi sabit noktalı çarpıcılar, toplayıcı ağaçları ve boru hattı yazmaçları için blok düzeyinde özel tasarım. MAC dizisi büyüdükçe özelleştirmenin getirisi artar.
Referansa göre değerlendirme
Standart hücreler ile otomatik yerleştirme ve yönlendirme referans alınarak özel hücreler, elle hazırlanmış netlist'ler, elle tasarlanan saat ağaçları ve elle yerleştirme ve yönlendirmenin her biri alan, güç ve hız açısından değerlendirilir.
Ardışık hücre seçimi
Mimariye ve saat düzenine göre seçilen dinamik flip-flop'lar, dinamik mandallar veya statik hücreler. Mandal tabanlı bir tasarım, üç fazlı örtüşmeyen saatler kullanabilir.
Blok düzeyinde sign-off
Özel blokların sign-off'u kendi başına yapılır; üst düzey statik zamanlama analizi, dijital arka uç akışıyla uyumlu olarak blok modellerini okur.
Hesaplama çekirdeği testi
Hesaplama çekirdeği yerleşik işlevsel test içerebilir; işlevsel vektörler sonuçlarını kontrol eder.
Ön uçla çalışma
Açık RTL hiyerarşisi ve veri akışı ile güç simülasyonu için doğru hücre verileri.
Düşük gerilim hedefleri
Hedef gerilimde kütüphane karakterizasyonu veya yeniden karakterizasyon; devre simülasyonu özel hücrelerin zamanlama ve güç modellerini kalibre eder.
Teslim edilenler
Tam özel tasarım akışı belgesi ile özel hücreler, kapı düzeyinde netlist'ler ve yerleştirme ve yönlendirme raporları.
Birlikte çalışma yolları
Dört aşama, adım adım.
Teknik değerlendirme
Teknik sorularınızı gönderirsiniz; ayrıntılı yanıtlar verir, tam özel tasarımın gerekçesini değerlendiririz.
Optimizasyon planı
Tasarımınızı analiz eder; izlenecek yönleri, teknik planları ve beklenen PPA iyileşmesini öneririz.
Tasarım danışmanlığı
Ekibiniz için akış rehberliği, tasarım incelemeleri ve uygulama desteği.
Tam özel tasarım
Optimize edilmiş tasarımdan tape-out'a tam tasarım hizmeti; tasarım verilerinin tamamı teslim edilir.
Yapay zekâ çiplerinde öne çıkan teknolojiler
- MAC dizisi
- NPU'ların ve çıkarım çiplerinin merkezinde yer alan, çok sayıda çarp-topla biriminden oluşan hesaplama dizisi.
- HBM (yüksek bant genişlikli bellek)
- İşlemciyle birlikte paketlenen yığılmış DRAM. Güncel ürünler HBM3E ve HBM4 kullanır; sırada HBM4E vardır.
- CoWoS ve 2.5D paketleme
- İşlemciyi ve HBM'yi bir interposer üzerinde birleştiren gelişmiş paketleme. Kapasitesi, üst düzey yapay zekâ çiplerinin tedarikini şekillendirir.
- 3D yığınlama ve hibrit bağlama
- Ara bağlantıyı kısaltmak için dikey olarak yığılan ve hibrit bağlamayla birleştirilen yongalar.
- Chiplet'ler ve UCIe
- Birkaç yongaya bölünmüş büyük bir çip. UCIe, bunları bağlamak için açık bir standarttır.
- Birlikte paketlenmiş optik (CPO)
- Uzun mesafeli bağlantıların gücünü düşürmek için bir anahtar veya hesaplama çipinin yanına paketlenen optik motorlar.
- Bellek içi hesaplama
- Veri taşımayı azaltmak için bellek dizilerinin içinde veya yanında hesaplama yapmak.
- Düşük hassasiyetli niceleme
- Çarpıcıların ve belleğin maliyetini azaltmak için ağırlıkların ve aktivasyonların INT8, INT4, FP8 veya FP4 gibi daha az bitle tutulması.
- Transformer hızlandırma
- Dikkat ve matris aritmetiği için optimize edilmiş veri yolları.
- KV önbelleği ve token başına maliyet
- Büyük model çıkarımında KV önbelleği bağlam uzunluğuyla büyür; token başına maliyet de çıkarım çiplerinin temel ölçütlerinden biri hâline gelmiştir.
- Büyük SRAM
- Erişim enerjisini ve gecikmeyi düşürmek için model ağırlıklarının veya bağlamın çip üzerinde tutulması.
- Çip üzeri ağ (NoC)
- Hesaplama birimleri ile bellek arasındaki çip içi ara bağlantı.
- Yapay zekâ için RISC-V
- Açık komut setine dayalı yapay zekâ işlemcileri ve hızlandırıcıları.
- Düşük gerilim ve eşik yakını tasarım
- Enerji verimliliği için transistör eşik gerilimine yakın çalıştırılan bir hesaplama çekirdeği. Düşük gerilim tasarımı, doğru kütüphane modellerine dayanır.
- Arka yüzden güç dağıtımı
- IR düşümünü azaltmak için güç ağının yonga plakasının arka yüzüne taşınması.
- GAA ve 2 nm
- 2 nm kuşağında FinFET'in yerini alan, kapının kanalı her yönden sardığı transistörler.
Uygulamalar
Yapay zekâ çipi uygulamaları
Yapay zekâ çipleri hakkında sorular
Çıkarım çipleri ile eğitim çipleri arasındaki fark nedir?
Eğitim çipleri model ağırlıklarını verilerden öğrenir; bu yüzden kayan noktalı hesaplama, bellek bant genişliği ve küme ara bağlantısı en önemlisidir. Çıkarım çipleri eğitilmiş modelleri çalıştırır; bu yüzden istek başına maliyet, güç ve gecikme en önemlisidir.
LLM çıkarım çipleri, yapay zekâ çıkarım çiplerinden nasıl ayrılır?
LLM çıkarım çipi, transformer modelleri için token üreten bir yapay zekâ çıkarım çipi türüdür. En önemlisi token başına maliyet ve KV önbelleği için bellek bant genişliğidir.
Uç yapay zekâ çipi nedir?
Uç veya cihaz içi yapay zekâ çipi, modelleri buluta bağlı kalmadan telefon, bilgisayar, gözlük veya kamera gibi bir cihazın içinde çalıştırır. Başlıca sınırları güç bütçesi, LPDDR bant genişliği ve malzeme listesi maliyetidir.
NPU çipi nedir?
NPU, merkezinde MAC dizisi ve yerel bellek bulunan, sinir ağı aritmetiği için tasarlanmış bir işlemcidir. Ayrı bir çip veya bir SoC içinde blok olabilir.
Bellek içi hesaplama çipi nedir?
Bellek dizilerinin içinde veya yanında hesaplama yaparak bellek ile hesaplama birimleri arasında taşınan veriyi azaltır. Dijital ve analog biçimleri vardır.
Yapay zekâ çipinin hangi bölümleri tam özel tasarıma uygundur?
En uygunu MAC dizileri, çarpıcılar, toplayıcı ağaçları ve boru hattı yazmaçları gibi sık anahtarlanan düzenli bloklardır. Kontrol mantığı ve arayüzler standart araç akışında kalır.
Kütüphane karakterizasyonu ile elle yerleştirme ve yönlendirme yapay zekâ çipine nasıl katkı sağlar?
Kütüphane karakterizasyonu özel hücrelere ve düşük gerilim kütüphanelerine doğru modeller kazandırır; elle yerleştirme ve yönlendirme ise MAC dizisini daha düzenli ve bağlantı hatlarını daha kısa hâle getirir. Bunlar birlikte hesaplama çekirdeğinin daha düşük gerilimde çalışmasını sağlar.
Hangi süreçleri destekliyorsunuz?
TSMC'de doğrudan hesabımız var; tasarım çalışmalarımız 16 nm, 12 nm, 7 nm ve 6 nm FinFET'i kapsar.
İlgili sayfalar
Bir yapay zekâ çipi projeniz mi var?
Modeli, hesaplama hedefini, güç bütçesini ve hedef süreci anlatın, size yanıt verelim.