- 適合
- GPU 支出或功耗預算主要由一項工作負載決定的團隊:AI 推論,或其他大規模重複執行的運算
- 您提供
- 這項工作負載目前在 GPU 上的執行情況:吞吐量、所用的硬體,以及成本
- 您取得
- 先是一份可行性報告,接著是為您的產品定義規格、設計並完成設計定案(tape-out)的晶片
- 我們的實績
- 為客戶在 28 nm、16 nm、8 nm 與 7 nm 上設計算力加速 ASIC,以 GDS 交付、由客戶製造;並進行了 6 nm AI 全客製化晶片設計
三項判斷標準
一項工作負載值不值得擁有自己的晶片。
這項
工作 負載 會維持 不變嗎? 晶片會把運算內容固定下來。模型、運算子或核心程式必須穩定到撐過設計期間,否則晶片就得把合適的部分保留為可程式化。
晶片
能比 GPU 領先 多少? 效益來自拿掉這項工作負載用不到的部分:更窄的算術位元寬、依資料量配置的記憶體,以及依運算形態設計的資料路徑。用到的 GPU 功能越少,效益越大。
規模
撐得 起一次性 成本嗎? 每單位工作省下的成本,乘上晶片生命週期內要執行的總工作量,必須超過工程與光罩的投入。
晶片帶來的改變
圍繞單一工作負載而設計。
數值
格式 依您的精度目標選擇數值格式,包括 INT8、FP8 等低精度格式。
記憶體
晶片內 SRAM 與外部記憶體依頻寬規劃,而不只看容量。
運算
陣列 MAC 陣列、乘法器、加法器樹與管線暫存器,正是全客製化設計最能發揮的地方。
軟體
路徑 在 RTL 開始之前就確定編譯器與執行環境的方案,讓晶片從第一天起就能執行您的工作負載。
路線
五個步驟,第一步先在紙上完成。
可行性
研究 用您的數字檢驗這三項標準。
架構
與效能 模型 建立晶片模型,並與您在 GPU 上的實測結果對照。
RTL 與 FPGA 原型
撰寫並驗證 RTL,產品有需要時,在 FPGA 上驗證。
實體
設計 採用標準元件流程,效益足夠的區塊改用全客製化設計。
設計
定案 與生產 光罩資料、交接晶圓代工廠,接著是生產與供應。
關於從 GPU 轉向 ASIC 的常見問題
ASIC 什麼時候勝過 GPU?
當一項穩定的工作負載以很大的量執行時。模型或演算法還在變動的階段,GPU 是合適的工具;等它穩定下來、量也到了,專用晶片能以更低的功耗與成本完成同樣的工作。
只適用於 AI 嗎?
不是。任何固定、運算量大、反覆執行的運算都是同樣的道理:推論、視訊與訊號處理、搜尋、模擬核心。AI 推論是目前最常見的情況。
我們必須放棄 GPU 嗎?
不必。多數團隊保留 GPU 做開發,以及處理仍在變動的工作負載,只把已經穩定、量大的部分移到晶片上。
你們在哪些製程上設計?
台積電 16 nm、12 nm、7 nm 與 6 nm FinFET 節點。我們是台積電直接客戶(Direct Account)。
設計歸誰所有?
設計及其資料的所有權,在每個專案的合約中約定。
相關頁面
GPU 帳單主要花在一項工作負載上?
告訴我們這項工作負載、它的量,以及目前的成本。
- 填寫專案表單
- 我們會在幾個工作天內以電子郵件回覆
- 啟動服務:保密協議、設計審查與分階段計畫
表單是與我們聯絡最快的方式,每一份需求都由專人閱讀。