Chips de IA
Design full-custom para chips de IA.
Um chip de IA gasta a sua energia e a sua área em alguns circuitos repetidos um número muito elevado de vezes, e é aí que o design full-custom mais rende. Como cliente direto da TSMC (Direct Account), oferecemos células à medida, caracterização de bibliotecas, netlists manuais, árvores de relógio à medida e posicionamento e encaminhamento manuais para chips de inferência e treino de IA, de grandes modelos, de edge AI e de visão.
- Processo
- Cliente direto da TSMC (Direct Account); autorização de design FinFET de 7 nm; design full-custom de chips de IA em 6 nm
- Técnicas full-custom
- Células à medida, caracterização e recaracterização de bibliotecas, netlists manuais, posicionamento e encaminhamento manuais, árvores de relógio à medida
- Blocos de computação
- Matrizes MAC, multiplicadores, árvores de somadores e registos de pipeline
- Formas de colaboração
- Avaliação técnica, plano de otimização, consultoria de design e design full-custom
Tipos de chips de IA
Os chips de IA que as técnicas full-custom podem servir.
O núcleo de computação de cada um destes chips tem estruturas grandes, regulares e repetitivas, e é aí que o design full-custom mais rende.
Chips de inferência de IA
Executam modelos treinados e respondem a pedidos, na nuvem ou nos dispositivos. Os compradores valorizam sobretudo o custo, o consumo e a latência por pedido.
Ver posicionamento e encaminhamento manuais- Energia por inferência
- Largura de banda de memória
- Eficiência de área da matriz MAC
Chips de treino de IA
Ajustam os pesos dos modelos a partir de dados, normalmente em grandes clusters. A interligação e a memória contam tanto como a computação.
Ver o design full-custom- Núcleos tensoriais de vírgula flutuante eficientes
- Memória de elevada largura de banda e ligações entre chips
- Consumo ao nível do rack
Chips de inferência de grandes modelos de linguagem
Geram tokens um a um para modelos Transformer. O trabalho divide-se entre o prefill, intensivo em computação, e o decode, limitado pela memória.
Ver as netlists manuais- Energia e custo por token
- Largura de banda de memória da cache KV
- Tempo até ao primeiro token
Chips de IA de edge e no dispositivo
Executam modelos dentro de dispositivos ou gateways e, cada vez mais, grandes modelos locais.
Ver a caracterização de bibliotecas- Um limite de consumo rigoroso
- Largura de banda LPDDR
- Custo da lista de materiais
Chips NPU
Uma unidade de processamento neural é um bloco ou chip concebido para a aritmética das redes neurais. É hoje um componente habitual nos processadores de telemóveis e PC.
Ver posicionamento e encaminhamento manuais- Eficiência energética da matriz MAC
- Limites térmicos em regime sustentado
- Adequação à pilha de software
Chips de IA de visão
Combinam processamento de imagem, codificação de vídeo e uma NPU para câmaras e dispositivos de visão. Os componentes mais recentes executam Transformers a par de CNN.
Ver a caracterização de bibliotecas- Consumo por fluxo de vídeo
- Calor em caixas seladas
- Custo
ASIC de IA à medida para a nuvem (XPU)
Aceleradores de IA que os fornecedores de nuvem especificam para as suas próprias cargas de trabalho.
Ver o design full-custom- Núcleos tensoriais eficientes
- Memória de elevada largura de banda
- Calendário de desenvolvimento
Chips para PC e telemóveis de IA
A NPU, a GPU e a CPU repartem o trabalho dos modelos, e estes chips chegam aos consumidores em volumes muito elevados.
Ver a caracterização de bibliotecas- Desempenho sustentado e calor
- Autonomia da bateria
- Largura de banda LPDDR
Chips para automóvel e robótica
Tratam da perceção e do planeamento, com requisitos de tempo real e de segurança. Os robôs humanoides e os drones funcionam com limites de consumo mais apertados.
Ver o design full-custom- Segurança funcional
- Calor
- Interfaces de sensores
Chips para óculos de IA e dispositivos vestíveis
Chips de muito baixo consumo para baterias pequenas, frequentemente associados a um coprocessador sempre ligado.
Ver a caracterização de bibliotecas- Consumo em modo sempre ligado
- Calor na armação
- Custo da lista de materiais
Chips de IA de voz
Processadores sempre ligados para palavras de ativação, comandos de voz e redução de ruído.
Ver a caracterização de bibliotecas- Consumo em espera
- Custo
- Dimensão do modelo
Chips de computação em memória
Calculam dentro ou ao lado das matrizes de memória para reduzir o movimento de dados, em versões digitais e analógicas.
Ver as células à medida- Árvores de somadores e células de bit
- Capacidade para grandes modelos
- Suporte de software
Como as técnicas full-custom se aplicam aos chips de IA
Cada técnica da nossa metodologia tem lugar num chip de IA.
O núcleo de computação de um chip de IA repete registo, lógica combinatória, registo. Comuta com frequência e tem uma estrutura regular, o que se adequa ao design full-custom.
Células à medida
Registos, latches, somadores completos e células compressoras concebidos para a matriz MAC e o pipeline. Quanto mais registos, maior o ganho das células sequenciais à medida.
Células sequenciais multibit e dinâmicas
Os registos multibit partilham um único pino de relógio entre vários bits para reduzir o consumo de relógio, e a arquitetura decide entre células estáticas ou dinâmicas e entre flip-flops ou latches.
Caracterização e recaracterização de bibliotecas
As células à medida são caracterizadas e as bibliotecas alargadas à tensão real de funcionamento, com modelos que fazem o sign-off em conjunto com as células da fundição.
Netlists manuais
Os multiplicadores, as árvores de somadores e as etapas de pipeline do RTL são mapeados para células à medida, com nomes regulares para os scripts e o posicionamento.
Posicionamento e encaminhamento manuais
Uma matriz MAC é posicionada em bit slices regulares, o que encurta as ligações e reduz a área. Quanto maior a matriz, maior o ganho.
Árvores de relógio à medida
Distribuição de relógio concebida para uma matriz regular, que controla o skew e o consumo de relógio.
Design de baixa tensão
A potência dinâmica acompanha o quadrado da tensão. O design full-custom permite que um núcleo de computação funcione a uma tensão mais baixa, aumentando a computação por watt.
Células de limiar misto
Com o posicionamento manual, uma célula pode misturar tipos de limiar, para uma otimização profunda dos caminhos críticos e do consumo.
Distribuição de alimentação e queda IR
A rede de alimentação para computação densa é concebida com o posicionamento, com análise estática e dinâmica da queda IR.
Planos técnicos
Planos técnicos full-custom para NPU.
Do nosso trabalho full-custom de NPU para o processador de IA de um cliente de topo do setor, sem os dados do cliente.
Dois níveis de personalização
A personalização ligeira usa uma biblioteca de células à medida com síntese e posicionamento e encaminhamento automatizados. A personalização profunda constrói blocos a partir de células à medida, para um ganho maior e um sign-off mais independente.
Personalização da matriz MAC
Design à medida, ao nível do bloco, de multiplicadores de vírgula fixa como INT8, árvores de somadores e registos de pipeline. Quanto maior a matriz MAC, mais compensa a personalização.
Avaliação face a uma linha de base
Com as células-padrão e o posicionamento e encaminhamento automatizados como linha de base, as células à medida, as netlists manuais, as árvores de relógio manuais e o posicionamento e encaminhamento manuais são avaliados, um a um, em área, consumo e velocidade.
Escolha das células sequenciais
Flip-flops dinâmicos, latches dinâmicos ou células estáticas, escolhidos segundo a arquitetura e o esquema de relógio. Um design com latches pode usar relógios trifásicos sem sobreposição.
Sign-off ao nível do bloco
Os blocos à medida fazem o sign-off de forma autónoma, e a análise estática de timing ao nível superior lê os modelos dos blocos, em sintonia com o fluxo digital de back-end.
Teste do núcleo de computação
Um núcleo de computação pode incluir um teste funcional integrado, com vetores funcionais que verificam os seus resultados.
Colaboração com o front-end
Hierarquia de RTL e fluxo de dados claros, e dados de células precisos para a simulação de consumo.
Objetivos de baixa tensão
Caracterização ou recaracterização de bibliotecas à tensão-alvo, com simulação de circuitos para calibrar os modelos de timing e de consumo das células à medida.
Entregáveis
Um documento do fluxo full-custom e relatórios sobre as células à medida, as netlists ao nível de portas e o posicionamento e encaminhamento.
Formas de colaboração
Quatro etapas, um passo de cada vez.
Avaliação técnica
Envia-nos as suas questões técnicas; respondemos em pormenor e avaliamos a justificação do design full-custom.
Plano de otimização
Analisamos o seu design e propomos orientações, planos técnicos e a melhoria de PPA esperada.
Consultoria de design
Orientação sobre o fluxo, revisões de design e apoio à implementação para a sua equipa.
Design full-custom
O serviço completo de design, do design otimizado ao tape-out, com a entrega de todos os dados de design.
Tecnologias em destaque nos chips de IA
- Matriz MAC
- Uma matriz de computação com muitas unidades de multiplicação-acumulação, no centro das NPU e dos chips de inferência.
- HBM (memória de elevada largura de banda)
- DRAM empilhada e encapsulada com o processador. Os produtos atuais usam HBM3E e HBM4, e a seguir vem a HBM4E.
- CoWoS e encapsulamento 2.5D
- Encapsulamento avançado que une um processador e HBM num interposer. A sua capacidade condiciona o fornecimento de chips de IA de gama alta.
- Empilhamento 3D e ligação híbrida
- Dies empilhados na vertical e unidos por ligação híbrida (hybrid bonding), para encurtar a interligação.
- Chiplets e UCIe
- Um chip grande dividido em vários dies. O UCIe é uma norma aberta para os ligar.
- Ótica coencapsulada (CPO)
- Motores óticos encapsulados ao lado de um chip de comutação ou de computação, para reduzir o consumo das ligações de longo alcance.
- Computação em memória
- Computação dentro ou ao lado das matrizes de memória para reduzir o movimento de dados.
- Quantização de baixa precisão
- Pesos e ativações guardados em menos bits, como INT8, INT4, FP8 ou FP4, para reduzir o custo dos multiplicadores e da memória.
- Aceleração de Transformers
- Caminhos de dados otimizados para a atenção e a aritmética de matrizes.
- Cache KV e custo por token
- A cache KV da inferência de grandes modelos cresce com o comprimento do contexto, e o custo por token tornou-se uma medida essencial dos chips de inferência.
- SRAM de grande capacidade
- Pesos do modelo ou contexto guardados no chip, para reduzir a energia e a latência de acesso.
- Rede no chip (NoC)
- A interligação no chip entre as unidades de computação e a memória.
- RISC-V para IA
- Processadores e aceleradores de IA baseados neste conjunto de instruções aberto.
- Design de baixa tensão e próximo do limiar
- Um núcleo de computação que funciona perto da tensão de limiar do transístor, para maior eficiência energética. O design de baixa tensão assenta em modelos de biblioteca precisos.
- Alimentação pela face traseira
- A rede de alimentação é deslocada para a face traseira do wafer, para reduzir a queda IR.
- GAA e 2 nm
- Transístores gate-all-around, que substituem o FinFET na geração de 2 nm.
Aplicações
Aplicações dos chips de IA
Perguntas sobre chips de IA
Qual é a diferença entre chips de inferência e chips de treino?
Os chips de treino ajustam os pesos dos modelos a partir de dados, pelo que importam sobretudo a computação em vírgula flutuante, a largura de banda de memória e a interligação do cluster. Os chips de inferência executam modelos treinados, pelo que importam sobretudo o custo, o consumo e a latência por pedido.
Em que diferem os chips de inferência de LLM dos chips de inferência de IA?
Um chip de inferência de LLM é um tipo de chip de inferência de IA que gera tokens para modelos Transformer. O que mais importa é o custo por token e a largura de banda de memória para a cache KV.
O que é um chip de edge AI?
Um chip de edge AI, ou de IA no dispositivo, executa modelos dentro de um dispositivo, como um telemóvel, um PC, uns óculos ou uma câmara, sem depender da nuvem. As suas principais restrições são o limite de consumo, a largura de banda LPDDR e o custo da lista de materiais.
O que é um chip NPU?
Uma NPU é um processador concebido para a aritmética das redes neurais, com uma matriz MAC e memória local no seu núcleo. Pode ser um chip separado ou um bloco num SoC.
O que é um chip de computação em memória?
Calcula dentro ou ao lado das matrizes de memória, reduzindo os dados movimentados entre a memória e as unidades de computação. Existe em versões digitais e analógicas.
Que partes de um chip de IA se adequam ao design full-custom?
Adequam-se melhor os blocos regulares que comutam com frequência, como as matrizes MAC, os multiplicadores, as árvores de somadores e os registos de pipeline. A lógica de controlo e as interfaces mantêm-se num fluxo de ferramentas padrão.
Como ajudam a caracterização de bibliotecas e o posicionamento e encaminhamento manuais um chip de IA?
A caracterização de bibliotecas dá às células à medida e às bibliotecas de baixa tensão modelos precisos, e o posicionamento e encaminhamento manuais tornam uma matriz MAC mais regular, com ligações mais curtas. Em conjunto, permitem que um núcleo de computação funcione a uma tensão mais baixa.
Que processos suportam?
Somos cliente direto da TSMC (Direct Account), e o nosso trabalho de design abrange FinFET em 16 nm, 12 nm, 7 nm e 6 nm.
Páginas relacionadas
Tem um projeto de chip de IA?
Indique-nos o modelo, o objetivo de computação, o limite de consumo e o processo-alvo, e responderemos.