AIチップのフルカスタム設計。

学習チップはデータからモデルの重みを学習するため、浮動小数点演算、メモリ帯域幅、クラスターのインターコネクトが最も重要です。推論チップは学習済みモデルを実行するため、リクエストあたりのコスト、電力、レイテンシーが最も重要です。

LLM推論チップはAI推論チップの一種で、Transformerモデルのトークンを生成します。トークンあたりコストと、KVキャッシュのメモリ帯域幅が最も重要です。

エッジ・オンデバイスAIチップは、スマートフォン、PC、グラス、カメラなどのデバイス内部で、クラウドに頼らずモデルを実行します。主な制約は、電力バジェット、LPDDRの帯域幅、部品コストです。

NPUはニューラルネットワークの演算のために作られたプロセッサーで、MACアレイとローカルメモリを中核とします。単独のチップの場合も、SoC内のブロックの場合もあります。

メモリアレイの内部または隣で演算し、メモリと演算ユニットの間で移動するデータを減らすチップです。デジタル方式とアナログ方式があります。

最も適しているのは、MACアレイ、乗算器、加算器ツリー、パイプラインレジスターなど、スイッチングが多く規則的なブロックです。制御ロジックとインターフェースは標準のツールフローのままです。

ライブラリキャラクタライズはカスタムセルと低電圧ライブラリに正確なモデルを与え、手動配置配線はMACアレイをより規則的にして配線を短くします。これらにより、演算コアをより低い電圧で動作させることができます。

当社はTSMCの直接取引先であり、設計作業は16 nm、12 nm、7 nm、6 nmのFinFETにわたります。