Veier til en brikke
Fra GPU-er til din egen ASIC.
En GPU kjører hva som helst, og det betaler du for i pris og effekt. Når én arbeidslast har satt seg og kjører i stor skala, gjør en brikke bygget for nettopp den jobben billigere. Vi vurderer om det lønner seg og designer akseleratoren, for KI-inferens og for enhver annen beregning som ligger fast.
- For
- Team der GPU-utgiftene eller effektbudsjettet styres av én arbeidslast: KI-inferens, eller en annen beregning som gjentas i stor skala
- Du leverer
- Arbeidslasten slik den kjører på GPU-er i dag: gjennomstrømningen, maskinvaren den bruker og hva den koster
- Du får
- Først en rapport om gjennomførbarheten, deretter en brikke spesifisert, designet og ført gjennom tape-out for produktet ditt
- Det vi har gjort
- Regneakselerator-ASIC-er designet for kunder på 28 nm, 16 nm, 8 nm og 7 nm, levert som GDS og produsert av kundene; full-custom KI-brikkedesign på 6 nm
Tre tester avgjør
Om en arbeidslast fortjener sin egen brikke.
Ligger arbeidslasten fast?
En brikke låser fast hva den regner ut. Modellene, operatorene eller beregningskjernene (kernels) må være stabile nok til å vare lenger enn designtiden, ellers må brikken holde de riktige delene programmerbare.
Hvor langt foran en GPU kan en brikke komme?
Gevinsten kommer av å kutte det arbeidslasten aldri bruker: smalere aritmetikk, minne dimensjonert etter dataene og en datavei formet etter beregningen. Jo mindre av GPU-en du bruker, desto større blir gevinsten.
Bærer skalaen engangskostnaden?
Besparelsen per arbeidsenhet, ganget med arbeidet du vil kjøre i brikkens levetid, må være større enn kostnaden for ingeniørarbeid og masker.
Hva brikken endrer
Bygget rundt én arbeidslast.
Tallformater
Tallformater valgt ut fra målene dine for nøyaktighet, også formater med redusert presisjon som INT8 og FP8.
Minne
SRAM på brikken og eksternt minne planlagt ut fra båndbredde, ikke bare kapasitet.
Beregningsmatriser
MAC-matriser, multiplikatorer, addisjonstrær og pipeline-registre, og det er der full-custom-design gjør mest.
Programvaresiden
En plan for kompilator og kjøretidsmiljø avtales før RTL-arbeidet starter, så brikken kjører arbeidslasten din fra første dag.
Veien
Fem steg, og det første er på papiret.
Mulighetsstudie
De tre testene, med dine tall.
Arkitektur og ytelsesmodell
En modell av brikken, kontrollert mot GPU-resultatene du har målt.
RTL og FPGA-prototype
RTL skrevet og verifisert, og prøvd ut på FPGA der produktet krever det.
Fysisk design
En flyt med standardceller, og full-custom-blokker der de lønner seg.
Tape-out og produksjon
Maskedata, overlevering til foundryen, deretter produksjon og forsyning.
Spørsmål om overgangen fra GPU-er til en ASIC
Når slår en ASIC en GPU?
Når én stabil arbeidslast kjører i stort volum. Så lenge modellen eller algoritmen fortsatt endrer seg, er GPU-er det riktige verktøyet. Når den har satt seg og volumet er der, gjør en dedikert brikke det samme arbeidet med lavere effekt og kostnad.
Gjelder dette bare KI?
Nei. Det samme resonnementet gjelder for enhver beregning som ligger fast, er tung og gjentas: inferens, video- og signalbehandling, søk, simuleringskjerner. KI-inferens er det vanligste tilfellet i dag.
Må vi slutte å bruke GPU-er?
Nei. De fleste team beholder GPU-ene til utvikling og til arbeidslaster som fortsatt endrer seg, og flytter den stabile delen med stort volum over til brikken.
Hvilke prosesser designer dere på?
På TSMCs FinFET-noder på 16 nm, 12 nm, 7 nm og 6 nm. Vi er direktekunde hos TSMC (direct account).
Hvem eier designet?
Hvem som eier designet og dataene, fastsettes i kontrakten for hvert prosjekt.
Relaterte sider
Styres GPU-regningen av én arbeidslast?
Fortell oss arbeidslasten, volumet og hva den koster i dag.
- Fyll ut prosjektskjemaet
- Vi svarer på e-post innen noen få virkedager
- Oppstart: NDA, gjennomgang av designet og en plan i faser
Skjemaet er den raskeste måten å nå oss på. Et menneske leser hver forespørsel.