Thiết kế full-custom cho chip AI.

Chip huấn luyện khớp trọng số mô hình từ dữ liệu, nên khả năng tính toán dấu phẩy động, băng thông bộ nhớ và kết nối cụm là quan trọng nhất. Chip suy luận chạy mô hình đã huấn luyện, nên chi phí, công suất và độ trễ trên mỗi yêu cầu là quan trọng nhất.

Chip suy luận LLM là một loại chip suy luận AI tạo token cho mô hình transformer. Chi phí trên mỗi token và băng thông bộ nhớ cho KV cache là quan trọng nhất.

Chip AI biên hoặc AI trên thiết bị chạy mô hình bên trong một thiết bị như điện thoại, PC, kính hoặc camera, mà không phụ thuộc vào đám mây. Các giới hạn chính là ngân sách công suất, băng thông LPDDR và chi phí danh mục vật tư.

NPU là bộ xử lý được xây dựng cho các phép tính của mạng nơ-ron, với mảng MAC và bộ nhớ cục bộ ở trung tâm. NPU có thể là một chip riêng hoặc một khối trong SoC.

Chip này tính toán bên trong hoặc bên cạnh mảng bộ nhớ, giảm lượng dữ liệu di chuyển giữa bộ nhớ và đơn vị tính toán. Chip có dạng số và dạng tương tự.

Phù hợp nhất là các khối đều đặn chuyển mạch thường xuyên, như mảng MAC, bộ nhân, cây cộng và thanh ghi pipeline. Logic điều khiển và giao tiếp vẫn theo quy trình công cụ chuẩn.

Đặc tính hóa thư viện mang lại mô hình chính xác cho cell tùy chỉnh và thư viện điện áp thấp, còn đặt cell, đi dây thủ công giúp mảng MAC đều đặn hơn với dây ngắn hơn. Kết hợp lại, chúng cho phép lõi tính toán chạy ở điện áp thấp hơn.

Chúng tôi là khách hàng trực tiếp của TSMC, và công việc thiết kế của chúng tôi bao gồm FinFET ở 16 nm, 12 nm, 7 nm và 6 nm.