Tekoälypiirit
Full-custom-suunnittelu tekoälypiireille.
Tekoälypiiri käyttää energiansa ja pinta-alansa muutamaan kytkentään, jotka toistuvat hyvin monta kertaa, ja juuri siellä full-custom-suunnittelusta on eniten hyötyä. TSMC Direct Account -asiakkaana tarjoamme räätälöityjä soluja, kirjaston karakterisointia, käsin laadittuja netlistoja, räätälöityjä kellopuita sekä manuaalista sijoittelua ja reititystä tekoälyn päättely-, koulutus-, suurten mallien, reuna- ja konenäköpiireille.
- Prosessi
- TSMC Direct Account -asiakas; lupa 7 nm:n FinFET-suunnitteluun; 6 nm:n full-custom-tekoälypiirisuunnittelu
- Full-custom-tekniikat
- Räätälöidyt solut, kirjaston karakterisointi ja uudelleenkarakterisointi, käsin laaditut netlistat, manuaalinen sijoittelu ja reititys, räätälöidyt kellopuut
- Laskentalohkot
- MAC-matriisit, kertojat, summainpuut ja liukuhihnarekisterit
- Yhteistyön muodot
- Tekninen arviointi, optimointisuunnitelma, suunnittelukonsultointi ja full-custom-suunnittelu
Tekoälypiirityypit
Tekoälypiirit, joita full-custom-tekniikat voivat palvella.
Kaikkien näiden piirien laskentaytimessä on suuria, säännöllisiä ja toistuvia rakenteita, ja juuri niissä full-custom-suunnittelusta on eniten hyötyä.
Tekoälyn päättelypiirit
Nämä piirit ajavat koulutettuja malleja ja vastaavat pyyntöihin pilvessä tai laitteissa. Ostajille tärkeintä ovat pyyntökohtainen kustannus, teho ja viive.
Manuaalinen sijoittelu ja reititys- Energia päättelyä kohden
- Muistikaista
- MAC-matriisin pinta-alatehokkuus
Tekoälyn koulutuspiirit
Nämä piirit sovittavat mallin painot datasta, yleensä suurissa klustereissa. Yhteydet ja muisti ovat yhtä tärkeitä kuin laskenta.
Full-custom-suunnittelu- Tehokkaat liukulukutensoriytimet
- Suurikaistainen muisti ja piirien väliset yhteydet
- Teho räkkitasolla
Suurten kielimallien päättelypiirit
Nämä piirit tuottavat transformer-malleille tokeneita yksi kerrallaan. Työ jakautuu laskentaintensiiviseen prefill-vaiheeseen ja muistin rajoittamaan decode-vaiheeseen.
Käsin laaditut netlistat- Energia ja kustannus tokenia kohden
- KV-välimuistin muistikaista
- Aika ensimmäiseen tokeniin
Reuna- ja laitetekoälypiirit
Nämä piirit ajavat malleja laitteiden tai yhdyskäytävien sisällä ja yhä useammin myös suuria malleja paikallisesti.
Kirjaston karakterisointi- Tiukka tehobudjetti
- LPDDR-kaista
- Materiaalikustannus
NPU-piirit
Neuroverkkoprosessori on neuroverkkojen laskutoimituksiin rakennettu lohko tai piiri. Se on nykyään vakiovaruste puhelinten ja tietokoneiden suorittimissa.
Manuaalinen sijoittelu ja reititys- MAC-matriisin energiatehokkuus
- Jatkuvan käytön lämpörajat
- Yhteensopivuus ohjelmistopinon kanssa
Konenäön tekoälypiirit
Nämä piirit yhdistävät kuvankäsittelyn, videokoodauksen ja NPU:n kameroihin ja konenäkölaitteisiin. Uudemmat piirit ajavat transformer-malleja CNN-mallien rinnalla.
Kirjaston karakterisointi- Teho videovirtaa kohden
- Lämpö suljetuissa koteloissa
- Kustannus
Räätälöidyt pilven tekoäly-ASICit (XPU:t)
Tekoälykiihdyttimet, jotka pilvipalvelujen tarjoajat määrittelevät omille työkuormilleen.
Full-custom-suunnittelu- Tehokkaat tensoriytimet
- Suurikaistainen muisti
- Kehitysaikataulu
Tekoälytietokoneiden ja -puhelinten piirit
NPU, GPU ja CPU jakavat mallien laskennan, ja nämä piirit päätyvät kuluttajille erittäin suurina määrinä.
Kirjaston karakterisointi- Jatkuva suorituskyky ja lämpö
- Akun kesto
- LPDDR-kaista
Autojen ja robotiikan piirit
Nämä piirit huolehtivat havainnoinnista ja toiminnan suunnittelusta reaaliaika- ja turvallisuusvaatimusten mukaan. Humanoidirobotit ja droonit toimivat tiukemmalla tehobudjetilla.
Full-custom-suunnittelu- Toiminnallinen turvallisuus
- Lämpö
- Anturiliitännät
Tekoälylasien ja puettavien laitteiden piirit
Erittäin vähävirtaisia piirejä pienille akuille, usein aina päällä olevan apuprosessorin parina.
Kirjaston karakterisointi- Aina päällä -tilan teho
- Lämpö kehyksessä
- Materiaalikustannus
Puheen tekoälypiirit
Aina päällä olevat prosessorit herätesanoille, äänikomennoille ja kohinanvaimennukselle.
Kirjaston karakterisointi- Valmiustilan teho
- Kustannus
- Mallin koko
Muistissa laskevat piirit
Nämä piirit laskevat muistimatriisien sisällä tai vieressä datan siirron vähentämiseksi, digitaalisina ja analogisina toteutuksina.
Räätälöidyt solut- Summainpuut ja bittisolut
- Kapasiteetti suurille malleille
- Ohjelmistotuki
Miten full-custom-tekniikat soveltuvat tekoälypiireihin
Menetelmämme jokaisella tekniikalla on paikkansa tekoälypiirissä.
Tekoälypiirin laskentaydin toistaa rakennetta rekisteri, kombinaatiologiikka, rekisteri. Se kytkeytyy usein ja on rakenteeltaan säännöllinen, mikä sopii full-custom-suunnitteluun.
Räätälöidyt solut
Rekisterit, salvat, kokosummaimet ja kompressorisolut suunnitellaan MAC-matriisia ja liukuhihnaa varten. Mitä enemmän rekistereitä, sitä enemmän räätälöidyistä sekventiaalisoluista hyötyy.
Monibittiset ja dynaamiset sekventiaalisolut
Monibittiset rekisterit jakavat yhden kellonastan useiden bittien kesken, mikä pienentää kellotehoa. Arkkitehtuuri ratkaisee valinnan staattisten ja dynaamisten solujen sekä kiikkujen ja salpojen välillä.
Kirjaston karakterisointi ja uudelleenkarakterisointi
Räätälöidyt solut karakterisoidaan ja kirjastot laajennetaan todelliseen käyttöjännitteeseen, ja mallit hyväksytään yhdessä sopimusvalmistajan solujen kanssa.
Käsin laaditut netlistat
RTL-kuvauksen kertojat, summainpuut ja liukuhihnavaiheet kuvataan räätälöidyille soluille, ja säännöllinen nimeäminen palvelee skriptejä ja sijoittelua.
Manuaalinen sijoittelu ja reititys
MAC-matriisi sijoitellaan säännöllisinä bittiviipaleina, mikä lyhentää johtimia ja pienentää pinta-alaa. Mitä suurempi matriisi, sitä suurempi hyöty.
Räätälöidyt kellopuut
Säännölliselle matriisille suunniteltu kellonjako, joka hallitsee skew'ta ja kellotehoa.
Matalan jännitteen suunnittelu
Dynaaminen teho seuraa jännitteen neliötä. Full-custom-suunnittelun ansiosta laskentaydin voi toimia matalammalla jännitteellä, mikä kasvattaa laskentaa wattia kohden.
Sekakynnyssolut
Käsin tehdyssä sijoittelussa yksi solu voi yhdistää eri kynnystyyppejä, mikä mahdollistaa kriittisten polkujen ja tehon syvän optimoinnin.
Tehonsyöttö ja IR-pudotus
Tiheän laskennan tehoverkko suunnitellaan yhdessä sijoittelun kanssa, ja staattinen ja dynaaminen IR-pudotus analysoidaan.
Tekniset suunnitelmat
Tekniset full-custom-suunnitelmat NPU-piireille.
Johtavan tekoälyalan asiakkaan tekoälyprosessorille tekemästämme full-custom-NPU-työstä, ilman asiakkaan tietoja.
Kaksi räätälöinnin syvyyttä
Kevyt räätälöinti käyttää räätälöityä solukirjastoa, synteesiä sekä automaattista sijoittelua ja reititystä. Syvä räätälöinti rakentaa lohkot räätälöidyistä soluista, mikä tuo suuremman hyödyn ja itsenäisemmän hyväksynnän.
MAC-matriisin räätälöinti
Kiinteän pilkun kertojien, kuten INT8, summainpuiden ja liukuhihnarekisterien lohkotason räätälöity suunnittelu. Mitä suurempi MAC-matriisi, sitä enemmän räätälöinti kannattaa.
Arviointi vertailukohtaa vasten
Vertailukohtana ovat standardisolut sekä automaattinen sijoittelu ja reititys. Räätälöidyt solut, käsin laaditut netlistat, käsin tehdyt kellopuut sekä manuaalinen sijoittelu ja reititys arvioidaan kukin pinta-alan, tehon ja nopeuden osalta.
Sekventiaalisolujen valinta
Dynaamiset kiikut, dynaamiset salvat tai staattiset solut valitaan arkkitehtuurin ja kellotuksen mukaan. Salpapohjainen suunnitelma voi käyttää kolmivaiheisia, toisiaan limittämättömiä kelloja.
Lohkotason hyväksyntä
Räätälöidyt lohkot hyväksytään itsenäisesti, ja ylätason staattinen ajoitusanalyysi lukee lohkojen mallit digitaalisen back-end-vuon tahdissa.
Laskentaytimen testaus
Laskentaytimessä voi olla sisäänrakennettu toiminnallinen testi, jonka toiminnalliset vektorit tarkistavat sen tulokset.
Yhteistyö front endin kanssa
Selkeä RTL-hierarkia ja datavuo sekä tarkat solutiedot tehosimulointia varten.
Matalan jännitteen tavoitteet
Kirjaston karakterisointi tai uudelleenkarakterisointi tavoitejännitteellä, ja kytkentäsimulointi kalibroi räätälöityjen solujen ajoitus- ja tehomallit.
Toimitussisältö
Full-custom-vuon kuvaus sekä raportit räätälöidyistä soluista, porttitason netlistoista ja sijoittelusta ja reitityksestä.
Yhteistyön muodot
Neljä vaihetta, askel kerrallaan.
Tekninen arviointi
Lähetätte tekniset kysymyksenne; vastaamme niihin yksityiskohtaisesti ja arvioimme full-custom-suunnittelun perusteet.
Optimointisuunnitelma
Analysoimme suunnitelmanne ja ehdotamme suuntia, teknisiä ratkaisuja ja odotettavaa PPA-parannusta.
Suunnittelukonsultointi
Suunnitteluvuon ohjeistusta, suunnitelmakatselmuksia ja toteutustukea tiimillenne.
Full-custom-suunnittelu
Koko suunnittelupalvelu optimoidusta suunnitelmasta tape-outiin, ja täydellinen suunnitteluaineisto toimitetaan.
Tekoälypiirien ajankohtaiset teknologiat
- MAC-matriisi
- Monista kerro ja summaa -yksiköistä koostuva laskentamatriisi, NPU-piirien ja päättelypiirien ydin.
- HBM (suurikaistainen muisti)
- Pinottua DRAM-muistia, joka koteloidaan prosessorin kanssa. Nykyiset tuotteet käyttävät HBM3E- ja HBM4-muistia, ja seuraavaksi tulee HBM4E.
- CoWoS ja 2.5D-kotelointi
- Kehittynyt kotelointi, joka yhdistää prosessorin ja HBM-muistin interposerilla. Sen kapasiteetti vaikuttaa huippuluokan tekoälypiirien saatavuuteen.
- 3D-pinoaminen ja hybridiliitos
- Sirut pinotaan päällekkäin ja yhdistetään hybridiliitoksella johdotuksen lyhentämiseksi.
- Chipletit ja UCIe
- Suuri piiri jaetaan useaksi siruksi. UCIe on avoin standardi niiden yhdistämiseen.
- Yhteiskoteloitu optiikka (CPO)
- Optiset moottorit koteloidaan kytkin- tai laskentapiirin viereen, mikä pienentää pitkien yhteyksien tehoa.
- Muistissa laskenta
- Laskenta muistimatriisien sisällä tai vieressä datan siirron vähentämiseksi.
- Pienen tarkkuuden kvantisointi
- Painot ja aktivoinnit esitetään pienemmällä bittimäärällä, kuten INT8, INT4, FP8 tai FP4, mikä pienentää kertojien ja muistin kustannuksia.
- Transformer-kiihdytys
- Attention-laskentaan ja matriisilaskentaan optimoidut datapolut.
- KV-välimuisti ja tokenikustannus
- Suurten mallien päättelyn KV-välimuisti kasvaa kontekstin pituuden mukana, ja kustannus tokenia kohden on noussut päättelypiirien keskeiseksi mittariksi.
- Suuri SRAM
- Mallin painot tai konteksti pidetään piirillä, mikä pienentää käyttöenergiaa ja viivettä.
- Piirin sisäinen verkko (NoC)
- Piirin sisäinen yhteys laskentayksiköiden ja muistin välillä.
- RISC-V tekoälylle
- Avoimeen käskykantaan perustuvat tekoälyprosessorit ja -kiihdyttimet.
- Matalan jännitteen ja lähellä kynnystä toimiva suunnittelu
- Laskentaydintä ajetaan lähellä transistorin kynnysjännitettä energiatehokkuuden vuoksi. Matalan jännitteen suunnittelu nojaa tarkkoihin kirjastomalleihin.
- Taustapuolen tehonsyöttö
- Tehoverkko siirretään kiekon taustapuolelle, mikä pienentää IR-pudotusta.
- GAA ja 2 nm
- Gate-all-around-transistorit, jotka korvaavat FinFETin 2 nm:n sukupolvessa.
Sovellukset
Tekoälypiirien sovellukset
Kysymyksiä tekoälypiireistä
Mitä eroa on päättelypiireillä ja koulutuspiireillä?
Koulutuspiirit sovittavat mallin painot datasta, joten liukulukulaskenta, muistikaista ja klusterin yhteydet ovat tärkeimpiä. Päättelypiirit ajavat koulutettuja malleja, joten pyyntökohtainen kustannus, teho ja viive ovat tärkeimpiä.
Miten LLM-päättelypiirit eroavat tekoälyn päättelypiireistä?
LLM-päättelypiiri on tekoälyn päättelypiirin alalaji, joka tuottaa tokeneita transformer-malleille. Tärkeimpiä ovat kustannus tokenia kohden ja KV-välimuistin muistikaista.
Mikä on reunatekoälypiiri?
Reuna- tai laitetekoälypiiri ajaa malleja laitteen, kuten puhelimen, tietokoneen, lasien tai kameran, sisällä ilman riippuvuutta pilvestä. Sen keskeiset rajat ovat tehobudjetti, LPDDR-kaista ja materiaalikustannus.
Mikä on NPU-piiri?
NPU on neuroverkkojen laskutoimituksiin rakennettu prosessori, jonka ytimessä ovat MAC-matriisi ja paikallinen muisti. Se voi olla erillinen piiri tai SoC-piirin lohko.
Mikä on muistissa laskeva piiri?
Se laskee muistimatriisien sisällä tai vieressä ja vähentää muistin ja laskentayksiköiden välillä siirrettävää dataa. Siitä on digitaalisia ja analogisia toteutuksia.
Mitkä tekoälypiirin osat sopivat full-custom-suunnitteluun?
Parhaiten sopivat säännölliset, usein kytkeytyvät lohkot, kuten MAC-matriisit, kertojat, summainpuut ja liukuhihnarekisterit. Ohjauslogiikka ja liitännät pysyvät tavanomaisessa työkaluvuossa.
Miten kirjaston karakterisointi sekä manuaalinen sijoittelu ja reititys auttavat tekoälypiiriä?
Kirjaston karakterisointi antaa räätälöidyille soluille ja matalan jännitteen kirjastoille tarkat mallit, ja manuaalinen sijoittelu ja reititys tekee MAC-matriisista säännöllisemmän ja johtimista lyhyempiä. Yhdessä ne antavat laskentaytimen toimia matalammalla jännitteellä.
Mitä prosesseja tuette?
Olemme TSMC Direct Account -asiakas, ja suunnittelutyömme kattaa FinFET-prosessit 16 nm:n, 12 nm:n, 7 nm:n ja 6 nm:n solmuilla.
Aiheeseen liittyvät sivut
Onko teillä tekoälypiiriprojekti?
Kertokaa malli, laskentatavoite, tehobudjetti ja kohdeprosessi, niin vastaamme.