Vägar till ett chip

Från GPU:er till en egen ASIC.

En GPU kör vad som helst, och det betalar du för i pris och effekt. När en enda arbetslast har stabiliserats och körs i stor skala gör ett chip som byggts för den samma arbete billigare. Vi bedömer om det lönar sig och konstruerar acceleratorn, för AI-inferens och för andra beräkningar som ligger fast.

För
Team vars GPU-kostnader eller effektbudget styrs av en enda arbetslast: AI-inferens eller en annan beräkning som upprepas i stor skala
Du skickar
Arbetslasten som den körs på GPU:er i dag: genomströmning, den hårdvara den använder och vad den kostar
Du får
Först en rapport från förstudien, sedan ett chip som specificeras, konstrueras och går till tape-out för din produkt
Vad vi har gjort
Beräkningsaccelerator-ASIC:er konstruerade för kunder på 28 nm, 16 nm, 8 nm och 7 nm, levererade som GDS och tillverkade av kunderna; AI-chipdesign i full custom på 6 nm

Tre test avgör

Om en arbetslast förtjänar ett eget chip.

  1. Kommer arbetslasten att bestå?

    Ett chip låser fast det som det beräknar. Modellerna, operatorerna eller beräkningskärnorna måste vara stabila nog att överleva designtiden, annars måste chipet hålla rätt delar programmerbara.

  2. Hur långt förbi en GPU kan ett chip komma?

    Vinsten kommer av att allt som arbetslasten aldrig använder tas bort: smalare aritmetik, minne dimensionerat efter datamängden och en dataväg formad efter beräkningen. Ju mindre av GPU:n du använder, desto större blir vinsten.

  3. Bär volymen engångskostnaden?

    Besparingen per arbetsenhet, gånger det arbete du kommer att köra under chipets livslängd, måste vara större än kostnaden för ingenjörsarbete och masker.

Vad chipet ändrar

Byggt kring en enda arbetslast.

  1. Talrepresentation

    Talformat valda efter dina noggrannhetsmål, även format med reducerad precision som INT8 och FP8.

  2. Minne

    SRAM på chipet och externt minne planerade efter bandbredd, och inte bara efter kapacitet.

  3. Beräkningsmatriser

    MAC-matriser, multiplikatorer, adderarträd och pipelineregister, och det är där full custom-design gör mest.

  4. Mjukvaruvägen

    En plan för kompilator och runtime som läggs fast innan RTL-arbetet börjar, så att chipet kör din arbetslast från första dagen.

Vägen

Fem steg, och det första görs på papper.

  1. Förstudie

    De tre testerna, med dina siffror.

  2. Arkitektur och prestandamodell

    En modell av chipet, kontrollerad mot dina uppmätta GPU-resultat.

  3. RTL och FPGA-prototyp

    RTL som skrivs och verifieras, och som prövas på FPGA när produkten kräver det.

  4. Fysisk design

    Ett standardcellsflöde, med block i full custom där de lönar sig.

  5. Tape-out och produktion

    Maskdata och överlämningen till foundryn, därefter produktion och försörjning.

Frågor om att gå från GPU:er till en ASIC

När slår en ASIC en GPU?

När en stabil arbetslast körs i stor volym. Så länge modellen eller algoritmen ändras är GPU:er rätt verktyg. När den har stabiliserats och volymen finns där gör ett dedikerat chip samma arbete med lägre effekt och kostnad.

Gäller det här bara AI?

Nej. Samma resonemang gäller alla beräkningar som ligger fast, är tunga och upprepas: inferens, video- och signalbehandling, sökning, simuleringskärnor. AI-inferens är det vanligaste fallet i dag.

Måste vi sluta använda GPU:er?

Nej. De flesta team behåller GPU:er för utveckling och för arbetslaster som fortfarande ändras, och flyttar den stabila delen med hög volym till chipet.

På vilka processer konstruerar ni?

På TSMC:s FinFET-noder på 16 nm, 12 nm, 7 nm och 6 nm. Vi är direktkund hos TSMC.

Vem äger konstruktionen?

Äganderätten till konstruktionen och dess data fastställs i avtalet för varje projekt.

En GPU-räkning som styrs av en enda arbetslast?

Berätta om arbetslasten, dess volym och vad den kostar i dag.

  1. Fyll i projektformuläret
  2. Vi svarar per e-post inom några arbetsdagar
  3. Uppstart: NDA, designgranskning och en plan i steg

Formuläret är det snabbaste sättet att nå oss. Varje förfrågan läses av en person.