การออกแบบฟูลคัสตอมสำหรับชิป AI

ชิปฝึกปรับค่าน้ำหนักของโมเดลจากข้อมูล จึงให้ความสำคัญที่สุดกับการประมวลผลจำนวนจุดลอยตัว แบนด์วิดท์หน่วยความจำ และการเชื่อมต่อในคลัสเตอร์ ชิปอนุมานรันโมเดลที่ฝึกแล้ว จึงให้ความสำคัญที่สุดกับต้นทุน พลังงาน และเวลาแฝงต่อคำขอ

ชิปอนุมาน LLM เป็นชิปอนุมาน AI ชนิดหนึ่งที่สร้างโทเค็นสำหรับโมเดล Transformer ต้นทุนต่อโทเค็นและแบนด์วิดท์หน่วยความจำสำหรับแคช KV สำคัญที่สุด

ชิป Edge AI หรือ AI ในอุปกรณ์รันโมเดลภายในอุปกรณ์ เช่น โทรศัพท์ พีซี แว่นตา หรือกล้อง โดยไม่ต้องพึ่งคลาวด์ ข้อจำกัดหลักคืองบประมาณพลังงาน แบนด์วิดท์ LPDDR และต้นทุนรายการวัสดุ (BOM)

NPU คือโปรเซสเซอร์ที่สร้างขึ้นสำหรับงานคำนวณของโครงข่ายประสาทเทียม โดยมีอาร์เรย์ MAC และหน่วยความจำภายในเป็นแกนหลัก อาจเป็นชิปแยกหรือบล็อกหนึ่งใน SoC

ชิปนี้ประมวลผลภายในหรือข้างอาร์เรย์หน่วยความจำ จึงลดข้อมูลที่ต้องเคลื่อนย้ายระหว่างหน่วยความจำกับหน่วยประมวลผล มีทั้งแบบดิจิทัลและแอนะล็อก

บล็อกที่เป็นระเบียบและสวิตช์บ่อยเหมาะที่สุด เช่น อาร์เรย์ MAC ตัวคูณ ต้นไม้ตัวบวก และรีจิสเตอร์ไปป์ไลน์ ส่วนลอจิกควบคุมและอินเทอร์เฟซยังคงใช้กระบวนการออกแบบด้วยเครื่องมือมาตรฐาน

การวัดคุณลักษณะไลบรารีทำให้เซลล์ออกแบบเฉพาะและไลบรารีแรงดันต่ำมีแบบจำลองที่แม่นยำ และการวางเซลล์และเดินสายด้วยมือทำให้อาร์เรย์ MAC เป็นระเบียบมากขึ้นและสายสั้นลง เมื่อใช้ร่วมกันจะทำให้คอร์ประมวลผลทำงานที่แรงดันต่ำลงได้

เราเป็นลูกค้าบัญชีตรงของ TSMC และงานด้านการออกแบบของเราครอบคลุม FinFET ที่ 16 nm, 12 nm, 7 nm และ 6 nm