ИИ-чипы
Полностью заказное проектирование ИИ-чипов.
ИИ-чип тратит энергию и площадь на несколько схем, повторяющихся очень много раз, и именно там полностью заказное проектирование даёт больше всего. Как прямой клиент TSMC, мы предлагаем заказные ячейки, характеризацию библиотек, нетлисты ручной разработки, заказные деревья синхронизации и ручное размещение и трассировку для чипов инференса, обучения, больших моделей, периферийного ИИ и машинного зрения.
- Техпроцесс
- Прямой клиент TSMC; разрешение на проектирование по 7 нм FinFET; полностью заказное проектирование ИИ-чипа на 6 нм
- Методы полностью заказного проектирования
- Заказные ячейки, характеризация и повторная характеризация библиотек, нетлисты ручной разработки, ручное размещение и трассировка, заказные деревья синхронизации
- Вычислительные блоки
- Массивы MAC, умножители, деревья сумматоров и конвейерные регистры
- Варианты сотрудничества
- Техническая оценка, план оптимизации, консультации по проектированию и полностью заказное проектирование
Типы ИИ-чипов
ИИ-чипы, для которых подходят методы полностью заказного проектирования.
Вычислительное ядро каждого из этих чипов содержит большие, регулярные, повторяющиеся структуры, и именно там полностью заказное проектирование даёт больше всего.
Чипы для ИИ-инференса
Они выполняют обученные модели и отвечают на запросы — в облаке или в устройствах. Покупателям важнее всего стоимость, энергопотребление и задержка на запрос.
О ручном размещении и трассировке- Энергия на один инференс
- Пропускная способность памяти
- Эффективность массива MAC по площади
Чипы для ИИ-обучения
Они подбирают веса моделей по данным, обычно в больших кластерах. Межсоединения и память здесь так же важны, как и вычисления.
О полностью заказном проектировании- Эффективные тензорные ядра с плавающей запятой
- Память с высокой пропускной способностью и межчиповые каналы
- Энергопотребление на уровне стойки
Чипы для инференса больших языковых моделей
Они генерируют токены один за другим для моделей-трансформеров. Работа делится на вычислительно ёмкое предзаполнение (prefill) и декодирование (decode), ограниченное памятью.
О нетлистах ручной разработки- Энергия и стоимость на токен
- Пропускная способность памяти для KV-кэша
- Время до первого токена
Чипы периферийного ИИ и ИИ на устройстве
Они выполняют модели внутри устройств или шлюзов, и всё чаще — локальные большие модели.
О характеризации библиотек- Строгий бюджет энергопотребления
- Пропускная способность LPDDR
- Стоимость компонентов
NPU-чипы
Нейропроцессор — это блок или чип, созданный для вычислений нейронных сетей. Сегодня он входит в стандартный состав процессоров телефонов и ПК.
О ручном размещении и трассировке- Энергоэффективность массива MAC
- Тепловые пределы при длительной нагрузке
- Совместимость с программным стеком
Чипы для машинного зрения
Они объединяют обработку изображений, кодирование видео и NPU для камер и устройств машинного зрения. Новые чипы выполняют трансформеры наряду со свёрточными сетями (CNN).
О характеризации библиотек- Энергопотребление на видеопоток
- Нагрев в герметичных корпусах
- Стоимость
Заказные облачные ИИ-ASIC (XPU)
ИИ-ускорители, которые облачные провайдеры заказывают под собственные рабочие нагрузки.
О полностью заказном проектировании- Эффективные тензорные ядра
- Память с высокой пропускной способностью
- График разработки
Чипы для ИИ-ПК и ИИ-телефонов
NPU, GPU и CPU делят между собой работу с моделями, а сами чипы доходят до потребителей очень большими тиражами.
О характеризации библиотек- Устойчивая производительность и нагрев
- Время работы от батареи
- Пропускная способность LPDDR
Чипы для автомобилей и робототехники
Они отвечают за восприятие и планирование с требованиями реального времени и безопасности. Человекоподобные роботы и дроны работают в более жёстких рамках по энергопотреблению.
О полностью заказном проектировании- Функциональная безопасность
- Нагрев
- Интерфейсы датчиков
Чипы для ИИ-очков и носимых устройств
Чипы с очень низким энергопотреблением для маленьких батарей, часто в паре с постоянно работающим сопроцессором.
О характеризации библиотек- Энергопотребление в постоянно включённом режиме
- Нагрев в оправе
- Стоимость компонентов
Чипы для голосового ИИ
Постоянно работающие процессоры для слов активации, голосовых команд и шумоподавления.
О характеризации библиотек- Энергопотребление в режиме ожидания
- Стоимость
- Размер модели
Чипы вычислений в памяти
Они выполняют вычисления внутри массивов памяти или рядом с ними, чтобы сократить перемещение данных, в цифровом и аналоговом вариантах.
О заказных ячейках- Деревья сумматоров и битовые ячейки
- Ёмкость для больших моделей
- Программная поддержка
Как методы полностью заказного проектирования применяются к ИИ-чипам
Каждому методу из нашей методологии есть место в ИИ-чипе.
Вычислительное ядро ИИ-чипа повторяет цепочку: регистр, комбинационная логика, регистр. Оно часто переключается и регулярно по структуре, что подходит для полностью заказного проектирования.
Заказные ячейки
Регистры, защёлки, полные сумматоры и ячейки-компрессоры, спроектированные для массива MAC и конвейера. Чем больше регистров, тем больше выигрыш от заказных последовательностных ячеек.
Многобитные и динамические последовательностные ячейки
Многобитные регистры используют один тактовый вывод на несколько бит, что снижает энергопотребление тактирования; выбор между статическими и динамическими ячейками, триггерами и защёлками определяет архитектура.
Характеризация и повторная характеризация библиотек
Заказные ячейки характеризуются, а библиотеки расширяются до реального рабочего напряжения, с моделями, которые проходят финальную проверку вместе с ячейками фабрики.
Нетлисты ручной разработки
Умножители, деревья сумматоров и ступени конвейера из RTL отображаются на заказные ячейки, с регулярными именами для скриптов и размещения.
Ручное размещение и трассировка
Массив MAC размещается регулярными битовыми срезами, что сокращает проводники и уменьшает площадь. Чем больше массив, тем больше выигрыш.
Заказные деревья синхронизации
Распределение тактового сигнала, спроектированное для регулярного массива, с контролем перекоса и энергопотребления тактирования.
Низковольтное проектирование
Динамическая мощность растёт пропорционально квадрату напряжения. Полностью заказное проектирование позволяет вычислительному ядру работать при более низком напряжении, повышая объём вычислений на ватт.
Ячейки со смешанными порогами
При ручном размещении в одной ячейке можно сочетать разные типы порогового напряжения для глубокой оптимизации критических путей и энергопотребления.
Подача питания и падение напряжения (IR drop)
Сеть питания для плотных вычислений проектируется вместе с размещением, с анализом статического и динамического падения напряжения (IR drop).
Технические решения
Технические решения полностью заказного проектирования для NPU.
Из нашей работы над полностью заказным NPU для ИИ-процессора ведущего заказчика в сфере ИИ, без сведений о заказчике.
Две глубины кастомизации
Лёгкая кастомизация использует библиотеку заказных ячеек с синтезом и автоматическим размещением и трассировкой. Глубокая кастомизация строит блоки из заказных ячеек, что даёт больший выигрыш и более самостоятельную финальную проверку.
Кастомизация массива MAC
Заказное проектирование на уровне блоков: умножители с фиксированной запятой, например INT8, деревья сумматоров и конвейерные регистры. Чем больше массив MAC, тем сильнее окупается кастомизация.
Оценка относительно базового варианта
За базовый вариант принимаются стандартные ячейки с автоматическим размещением и трассировкой; заказные ячейки, нетлисты ручной разработки, ручные деревья синхронизации и ручное размещение и трассировка оцениваются каждый по площади, энергопотреблению и скорости.
Выбор последовательностных ячеек
Динамические триггеры, динамические защёлки или статические ячейки — в зависимости от архитектуры и схемы тактирования. В проекте на защёлках можно использовать трёхфазные неперекрывающиеся тактовые сигналы.
Финальная проверка на уровне блоков
Заказные блоки проходят финальную проверку самостоятельно, а статический временной анализ верхнего уровня читает модели блоков, синхронно с цифровым бэкенд-маршрутом.
Тестирование вычислительного ядра
Вычислительное ядро может включать встроенный функциональный тест с функциональными векторами, которые проверяют его результаты.
Работа с фронтендом
Понятная иерархия и поток данных в RTL, а также точные данные ячеек для моделирования энергопотребления.
Низковольтные цели
Характеризация или повторная характеризация библиотек при целевом напряжении, с калибровкой временных и энергетических моделей заказных ячеек по схемотехническому моделированию.
Результаты работы
Документ по маршруту полностью заказного проектирования и отчёты по заказным ячейкам, нетлистам на уровне вентилей и размещению и трассировке.
Варианты сотрудничества
Четыре этапа, шаг за шагом.
Техническая оценка
Вы присылаете технические вопросы; мы подробно отвечаем и оцениваем, подходит ли задаче полностью заказное проектирование.
План оптимизации
Мы анализируем ваш проект и предлагаем направления, технические решения и ожидаемое улучшение PPA.
Консультации по проектированию
Рекомендации по маршруту, ревизии проекта и поддержка реализации для вашей команды.
Полностью заказное проектирование
Полный цикл услуг от оптимизированного проекта до тейп-аута с передачей всех проектных данных.
Актуальные технологии ИИ-чипов
- Массив MAC
- Вычислительный массив из множества блоков умножения с накоплением, основа NPU и чипов инференса.
- HBM (память с высокой пропускной способностью)
- Стековая память DRAM в одном корпусе с процессором. В современных продуктах применяются HBM3E и HBM4, следующей будет HBM4E.
- CoWoS и корпусирование 2.5D
- Передовое корпусирование, объединяющее процессор и HBM на интерпозере. Его мощности определяют предложение ИИ-чипов высокого класса.
- 3D-стекирование и гибридное соединение
- Кристаллы, уложенные вертикально и связанные гибридным соединением, чтобы сократить длину межсоединений.
- Чиплеты и UCIe
- Большой чип, разделённый на несколько кристаллов. UCIe — открытый стандарт для их соединения.
- Совместно корпусируемая оптика (CPO)
- Оптические модули в одном корпусе с коммутатором или вычислительным чипом, снижающие энергопотребление дальних каналов.
- Вычисления в памяти
- Вычисления внутри массивов памяти или рядом с ними, чтобы сократить перемещение данных.
- Квантование с низкой точностью
- Веса и активации хранятся в меньшем числе бит, например INT8, INT4, FP8 или FP4, что снижает затраты на умножители и память.
- Ускорение трансформеров
- Тракты данных, оптимизированные для механизма внимания и матричных вычислений.
- KV-кэш и стоимость токена
- KV-кэш при инференсе больших моделей растёт с длиной контекста, а стоимость токена стала ключевым показателем чипов инференса.
- SRAM большого объёма
- Веса модели или контекст хранятся прямо на чипе, что снижает энергию доступа и задержку.
- Сеть на кристалле (NoC)
- Внутрикристальные межсоединения между вычислительными блоками и памятью.
- RISC-V для ИИ
- ИИ-процессоры и ускорители на основе открытой системы команд.
- Низковольтное и околопороговое проектирование
- Вычислительное ядро работает вблизи порогового напряжения транзистора ради энергоэффективности. Низковольтное проектирование опирается на точные модели библиотек.
- Подача питания с обратной стороны
- Сеть питания перенесена на обратную сторону пластины, чтобы снизить падение напряжения (IR drop).
- GAA и 2 нм
- Транзисторы с круговым затвором, которые приходят на смену FinFET в поколении 2 нм.
Применения
Применения ИИ-чипов
Вопросы об ИИ-чипах
Чем чипы инференса отличаются от чипов обучения?
Чипы обучения подбирают веса моделей по данным, поэтому важнее всего вычисления с плавающей запятой, пропускная способность памяти и межсоединения кластера. Чипы инференса выполняют обученные модели, поэтому важнее всего стоимость, энергопотребление и задержка на запрос.
Чем чипы инференса LLM отличаются от чипов ИИ-инференса?
Чип инференса LLM — разновидность чипа ИИ-инференса, которая генерирует токены для моделей-трансформеров. Важнее всего стоимость токена и пропускная способность памяти для KV-кэша.
Что такое чип периферийного ИИ?
Чип периферийного ИИ, или ИИ на устройстве, выполняет модели внутри устройства — телефона, ПК, очков или камеры — без опоры на облако. Его главные ограничения — бюджет энергопотребления, пропускная способность LPDDR и стоимость компонентов.
Что такое NPU-чип?
NPU — это процессор, созданный для вычислений нейронных сетей, в основе которого массив MAC и локальная память. Он может быть отдельным чипом или блоком в SoC.
Что такое чип вычислений в памяти?
Он выполняет вычисления внутри массивов памяти или рядом с ними, сокращая перемещение данных между памятью и вычислительными блоками. Бывает в цифровом и аналоговом вариантах.
Какие части ИИ-чипа подходят для полностью заказного проектирования?
Лучше всего подходят регулярные блоки, которые часто переключаются: массивы MAC, умножители, деревья сумматоров и конвейерные регистры. Управляющая логика и интерфейсы остаются в стандартном инструментальном маршруте.
Как характеризация библиотек и ручное размещение и трассировка помогают ИИ-чипу?
Характеризация библиотек даёт заказным ячейкам и низковольтным библиотекам точные модели, а ручное размещение и трассировка делают массив MAC более регулярным, с более короткими проводниками. Вместе они позволяют вычислительному ядру работать при более низком напряжении.
Какие техпроцессы вы поддерживаете?
Мы прямой клиент TSMC, и наши проектные работы охватывают FinFET на 16, 12, 7 и 6 нм.
Связанные страницы
Есть проект ИИ-чипа?
Расскажите о модели, вычислительной цели, бюджете энергопотребления и целевом техпроцессе, и мы ответим.