Chips de IA
Diseño full-custom para chips de IA.
Un chip de IA gasta su energía y su área en unos pocos circuitos que se repiten muchísimas veces, y ahí es donde el diseño full-custom aporta más. Con cuenta directa en TSMC, ofrecemos celdas a medida, caracterización de bibliotecas, netlists manuales, árboles de reloj a medida y colocación y enrutado manuales para chips de inferencia, entrenamiento, grandes modelos, borde y visión de IA.
- Proceso
- Cuenta directa de TSMC; autorización de diseño FinFET de 7 nm; diseño full-custom de chips de IA en 6 nm
- Técnicas full-custom
- Celdas a medida, caracterización y recaracterización de bibliotecas, netlists manuales, colocación y enrutado manuales, árboles de reloj a medida
- Bloques de cómputo
- Matrices MAC, multiplicadores, árboles de sumadores y registros de pipeline
- Formas de colaborar
- Evaluación técnica, plan de optimización, consultoría de diseño y diseño full-custom
Tipos de chips de IA
Los chips de IA a los que pueden servir las técnicas full-custom.
El núcleo de cómputo de cada uno de estos chips tiene estructuras grandes, regulares y repetitivas, y ahí es donde el diseño full-custom aporta más.
Chips de inferencia de IA
Ejecutan modelos entrenados y responden a solicitudes, en la nube o en dispositivos. A los compradores les importan sobre todo el costo, la potencia y la latencia por solicitud.
Ver colocación y enrutado manuales- Energía por inferencia
- Ancho de banda de memoria
- Eficiencia de área de la matriz MAC
Chips de entrenamiento de IA
Ajustan los pesos de los modelos a partir de datos, normalmente en grandes clústeres. La interconexión y la memoria importan tanto como el cómputo.
Ver el diseño full-custom- Núcleos tensoriales de coma flotante eficientes
- Memoria de gran ancho de banda y enlaces entre chips
- Potencia a nivel de rack
Chips de inferencia de grandes modelos de lenguaje
Generan tokens uno a uno para modelos Transformer. El trabajo se divide en un prefill intensivo en cómputo y una decodificación limitada por la memoria.
Ver las netlists manuales- Energía y costo por token
- Ancho de banda de memoria para la caché KV
- Tiempo hasta el primer token
Chips de IA en el borde y en el dispositivo
Ejecutan modelos dentro de dispositivos o pasarelas, y cada vez más ejecutan grandes modelos locales.
Ver la caracterización de bibliotecas- Un presupuesto de potencia estricto
- Ancho de banda LPDDR
- Costo de la lista de materiales
Chips NPU
Una unidad de procesamiento neuronal es un bloque o un chip creado para la aritmética de redes neuronales. Hoy es estándar en los procesadores de teléfonos y PC.
Ver colocación y enrutado manuales- Eficiencia energética de la matriz MAC
- Límites térmicos sostenidos
- Adecuación a la pila de software
Chips de IA de visión
Combinan procesamiento de imagen, codificación de video y una NPU para cámaras y dispositivos de visión. Los chips más recientes ejecutan Transformers junto a CNN.
Ver la caracterización de bibliotecas- Potencia por flujo de video
- Calor en carcasas selladas
- Costo
ASIC de IA a medida para la nube (XPU)
Aceleradores de IA que los proveedores de nube especifican para sus propias cargas de trabajo.
Ver el diseño full-custom- Núcleos tensoriales eficientes
- Memoria de gran ancho de banda
- Calendario de desarrollo
Chips para PC con IA y teléfonos con IA
La NPU, la GPU y la CPU se reparten el trabajo de los modelos, y estos chips llegan a los consumidores en volúmenes muy grandes.
Ver la caracterización de bibliotecas- Rendimiento sostenido y calor
- Duración de la batería
- Ancho de banda LPDDR
Chips para automoción y robótica
Se encargan de la percepción y la planificación con requisitos de tiempo real y de seguridad. Los robots humanoides y los drones trabajan con una potencia más ajustada.
Ver el diseño full-custom- Seguridad funcional
- Calor
- Interfaces de sensores
Chips para gafas con IA y dispositivos vestibles
Chips de muy baja potencia para baterías pequeñas, a menudo acompañados de un coprocesador siempre activo.
Ver la caracterización de bibliotecas- Potencia en modo siempre activo
- Calor en la montura
- Costo de la lista de materiales
Chips de IA de voz
Procesadores siempre activos para palabras de activación, comandos de voz y reducción de ruido.
Ver la caracterización de bibliotecas- Potencia en espera
- Costo
- Tamaño del modelo
Chips de computación en memoria
Calculan dentro de las matrices de memoria o junto a ellas para reducir el movimiento de datos, en formas digitales y analógicas.
Ver las celdas a medida- Árboles de sumadores y celdas de bit
- Capacidad para grandes modelos
- Soporte de software
Cómo se aplican las técnicas full-custom a los chips de IA
Cada técnica de nuestra metodología tiene su lugar en un chip de IA.
El núcleo de cómputo de un chip de IA repite registro, lógica combinacional, registro. Conmuta con frecuencia y tiene una estructura regular, lo que se adapta bien al diseño full-custom.
Celdas a medida
Registros, latches, sumadores completos y celdas compresoras diseñados para la matriz MAC y el pipeline. Cuantos más registros, mayor es la ganancia de las celdas secuenciales a medida.
Celdas secuenciales multibit y dinámicas
Los registros multibit comparten un pin de reloj entre varios bits para reducir la potencia de reloj, y la arquitectura decide entre celdas estáticas o dinámicas, y entre flip-flops o latches.
Caracterización y recaracterización de bibliotecas
Las celdas a medida se caracterizan y las bibliotecas se amplían a la tensión real de funcionamiento, con modelos que pasan el sign-off junto con las celdas de la fundición.
Netlists manuales
Los multiplicadores, árboles de sumadores y etapas de pipeline del RTL se asignan a celdas a medida, con una nomenclatura regular para los scripts y la colocación.
Colocación y enrutado manuales
Una matriz MAC se coloca en bit-slices regulares, lo que acorta los cables y reduce el área. Cuanto mayor es la matriz, mayor es la ganancia.
Árboles de reloj a medida
Distribución de reloj diseñada para una matriz regular, que controla el skew y la potencia de reloj.
Diseño de baja tensión
La potencia dinámica sigue el cuadrado de la tensión. El diseño full-custom permite que un núcleo de cómputo funcione a menor tensión, lo que aumenta el cómputo por vatio.
Celdas de umbral mixto
Con la colocación manual, una misma celda puede combinar tipos de tensión umbral, para una optimización profunda de las rutas críticas y de la potencia.
Distribución de alimentación y caída IR
La red de alimentación para el cómputo denso se diseña junto con la colocación, con análisis de caída IR estática y dinámica.
Planes técnicos
Planes técnicos full-custom para NPU.
A partir de nuestro trabajo full-custom de NPU para el procesador de IA de un importante cliente de IA, sin los datos del cliente.
Dos niveles de personalización
La personalización ligera usa una biblioteca de celdas a medida con síntesis y colocación y enrutado automatizados. La personalización profunda construye bloques con celdas a medida, para una ganancia mayor y un sign-off más independiente.
Personalización de la matriz MAC
Diseño a medida a nivel de bloque de multiplicadores de coma fija como INT8, árboles de sumadores y registros de pipeline. Cuanto mayor es la matriz MAC, más compensa la personalización.
Evaluación frente a una referencia
Con las celdas estándar y la colocación y el enrutado automatizados como referencia, se evalúan el área, la potencia y la velocidad de cada técnica: celdas a medida, netlists manuales, árboles de reloj manuales y colocación y enrutado manuales.
Elección de celdas secuenciales
Flip-flops dinámicos, latches dinámicos o celdas estáticas, elegidos según la arquitectura y el esquema de reloj. Un diseño con latches puede usar relojes trifásicos sin solapamiento.
Sign-off a nivel de bloque
Los bloques a medida pasan su propio sign-off, y el análisis estático de temporización de nivel superior lee los modelos de los bloques, en sintonía con el flujo digital de back-end.
Prueba del núcleo de cómputo
Un núcleo de cómputo puede incluir una prueba funcional integrada, con vectores funcionales que comprueban sus resultados.
Trabajo con el front-end
Jerarquía de RTL y flujo de datos claros, y datos de celda precisos para la simulación de potencia.
Objetivos de baja tensión
Caracterización o recaracterización de bibliotecas a la tensión objetivo, con simulación de circuitos que calibra los modelos de temporización y potencia de las celdas a medida.
Entregables
Un documento del flujo full-custom e informes sobre celdas a medida, netlists a nivel de puerta y colocación y enrutado.
Formas de colaborar
Cuatro etapas, paso a paso.
Evaluación técnica
Usted envía sus preguntas técnicas; nosotros respondemos en detalle y valoramos la conveniencia del diseño full-custom.
Plan de optimización
Analizamos su diseño y proponemos orientaciones, planes técnicos y la mejora de PPA prevista.
Consultoría de diseño
Orientación sobre el flujo, revisiones de diseño y apoyo a la implementación para su equipo.
Diseño full-custom
El servicio de diseño completo, del diseño optimizado al tape-out, con entrega de todos los datos de diseño.
Tecnologías destacadas en los chips de IA
- Matriz MAC
- Matriz de cómputo formada por muchas unidades de multiplicación y acumulación, en el corazón de las NPU y los chips de inferencia.
- HBM (memoria de gran ancho de banda)
- DRAM apilada que se encapsula con el procesador. Los productos actuales usan HBM3E y HBM4, y HBM4E es la siguiente.
- CoWoS y encapsulado 2.5D
- Encapsulado avanzado que une un procesador y HBM sobre un interposer. Su capacidad condiciona el suministro de chips de IA de gama alta.
- Apilado 3D y unión híbrida
- Dados apilados verticalmente y unidos mediante unión híbrida (hybrid bonding), para acortar la interconexión.
- Chiplets y UCIe
- Un chip grande dividido en varios dados. UCIe es un estándar abierto para conectarlos.
- Óptica coencapsulada (CPO)
- Motores ópticos encapsulados junto a un chip de conmutación o de cómputo, para reducir la potencia de los enlaces de largo alcance.
- Computación en memoria
- Cálculo dentro de las matrices de memoria o junto a ellas para reducir el movimiento de datos.
- Cuantización de baja precisión
- Pesos y activaciones almacenados en menos bits, como INT8, INT4, FP8 o FP4, para reducir el costo de los multiplicadores y la memoria.
- Aceleración de Transformer
- Rutas de datos optimizadas para la atención y la aritmética matricial.
- Caché KV y costo por token
- La caché KV de la inferencia de grandes modelos crece con la longitud del contexto, y el costo por token se ha convertido en una medida clave de los chips de inferencia.
- SRAM de gran capacidad
- Pesos del modelo o contexto almacenados en el chip, para reducir la energía de acceso y la latencia.
- Red en chip (NoC)
- La interconexión dentro del chip entre las unidades de cómputo y la memoria.
- RISC-V para IA
- Procesadores y aceleradores de IA basados en este conjunto de instrucciones abierto.
- Diseño de baja tensión y cercano al umbral
- Un núcleo de cómputo que funciona cerca de la tensión umbral del transistor para ganar eficiencia energética. El diseño de baja tensión se apoya en modelos de biblioteca precisos.
- Alimentación por la cara posterior
- La red de alimentación se traslada a la parte posterior de la oblea, para reducir la caída IR.
- GAA y 2 nm
- Transistores de puerta envolvente (gate-all-around), que sustituyen a FinFET en la generación de 2 nm.
Aplicaciones
Aplicaciones de los chips de IA
Preguntas sobre los chips de IA
¿Qué diferencia hay entre los chips de inferencia y los de entrenamiento?
Los chips de entrenamiento ajustan los pesos de los modelos a partir de datos, por lo que importan sobre todo el cómputo de coma flotante, el ancho de banda de memoria y la interconexión de los clústeres. Los chips de inferencia ejecutan modelos entrenados, por lo que importan sobre todo el costo, la potencia y la latencia por solicitud.
¿En qué se diferencian los chips de inferencia de LLM de los chips de inferencia de IA?
Un chip de inferencia de LLM es un tipo de chip de inferencia de IA que genera tokens para modelos Transformer. Lo que más importa es el costo por token y el ancho de banda de memoria para la caché KV.
¿Qué es un chip de IA en el borde?
Un chip de IA en el borde o en el dispositivo ejecuta modelos dentro de un dispositivo, como un teléfono, un PC, unas gafas o una cámara, sin depender de la nube. Sus principales límites son el presupuesto de potencia, el ancho de banda LPDDR y el costo de la lista de materiales.
¿Qué es un chip NPU?
Una NPU es un procesador creado para la aritmética de redes neuronales, con una matriz MAC y memoria local en su núcleo. Puede ser un chip independiente o un bloque de un SoC.
¿Qué es un chip de computación en memoria?
Calcula dentro de las matrices de memoria o junto a ellas, lo que reduce los datos que se mueven entre la memoria y las unidades de cómputo. Existe en formas digitales y analógicas.
¿Qué partes de un chip de IA se adaptan al diseño full-custom?
Se adaptan mejor los bloques regulares que conmutan con frecuencia, como las matrices MAC, los multiplicadores, los árboles de sumadores y los registros de pipeline. La lógica de control y las interfaces siguen en un flujo de herramientas estándar.
¿Cómo ayudan a un chip de IA la caracterización de bibliotecas y la colocación y el enrutado manuales?
La caracterización de bibliotecas proporciona modelos precisos para las celdas a medida y las bibliotecas de baja tensión, y la colocación y el enrutado manuales hacen que una matriz MAC sea más regular y tenga cables más cortos. Juntos permiten que un núcleo de cómputo funcione a menor tensión.
¿Qué procesos admiten?
Tenemos cuenta directa en TSMC, y nuestro trabajo de diseño abarca FinFET en 16 nm, 12 nm, 7 nm y 6 nm.
Páginas relacionadas
¿Tiene un proyecto de chip de IA?
Indíquenos el modelo, el objetivo de cómputo, el presupuesto de potencia y el proceso objetivo, y le responderemos.