שבבי AI
תכנון full-custom לשבבי AI.
שבב AI מוציא את האנרגיה והשטח שלו על מעגלים ספורים שחוזרים פעמים רבות מאוד, ושם תכנון full-custom תורם הכי הרבה. כבעלי חשבון ישיר ב-TSMC, אנחנו מציעים תאים מותאמים אישית, אפיון ספריות, נטליסטים ידניים, עצי שעון מותאמים אישית ומיקום וניתוב ידניים לשבבי הסקה, אימון, מודלים גדולים, קצה וראייה.
- תהליך
- חשבון ישיר ב-TSMC; הרשאת תכנון ל-7 nm FinFET; תכנון full-custom של שבב AI ב-6 nm
- טכניקות full-custom
- תאים מותאמים אישית, אפיון ספריות ואפיון מחדש, נטליסטים ידניים, מיקום וניתוב ידניים, עצי שעון מותאמים אישית
- בלוקי חישוב
- מערכי MAC, מכפלים, עצי מחברים ורגיסטרים של פייפליין
- דרכים לעבוד יחד
- הערכה טכנית, תוכנית אופטימיזציה, ייעוץ תכנון ותכנון full-custom
סוגי שבבי AI
שבבי ה-AI שטכניקות full-custom יכולות לשרת.
בליבת החישוב של כל אחד מהשבבים האלה יש מבנים גדולים, סדירים וחוזרים, ושם תכנון full-custom תורם הכי הרבה.
שבבי הסקת AI
שבבים שמריצים מודלים מאומנים ועונים לבקשות, בענן או במכשירים. הקונים מתעניינים בעיקר בעלות, בהספק ובהשהיה לכל בקשה.
ראו מיקום וניתוב ידניים- אנרגיה לכל הסקה
- רוחב פס של זיכרון
- יעילות השטח של מערך ה-MAC
שבבי אימון AI
שבבים שמתאימים את משקלי המודל לנתונים, בדרך כלל באשכולות גדולים. הקישוריות והזיכרון חשובים לא פחות מהחישוב.
ראו תכנון full-custom- ליבות טנזור יעילות בנקודה צפה
- זיכרון ברוחב פס גבוה וקישורים בין שבבים
- הספק ברמת הארון
שבבי הסקה למודלי שפה גדולים
שבבים שמפיקים טוקנים בזה אחר זה עבור מודלי טרנספורמר. העבודה מתחלקת ל-prefill עתיר חישוב ול-decode שמוגבל בידי הזיכרון.
ראו נטליסטים ידניים- אנרגיה ועלות לכל טוקן
- רוחב פס של זיכרון למטמון KV
- זמן עד הטוקן הראשון
שבבי AI לקצה ולמכשיר
שבבים שמריצים מודלים בתוך מכשירים או שערים, ויותר ויותר גם מודלים גדולים מקומיים.
ראו אפיון ספריות- תקציב הספק מחמיר
- רוחב פס של LPDDR
- עלות רשימת הרכיבים
שבבי NPU
יחידת עיבוד נוירונית היא בלוק או שבב שנבנה לחישובים האריתמטיים של רשתות נוירונים. כיום היא סטנדרטית במעבדים של טלפונים ומחשבים אישיים.
ראו מיקום וניתוב ידניים- יעילות האנרגיה של מערך ה-MAC
- מגבלות תרמיות בפעולה מתמשכת
- התאמה לערימת התוכנה
שבבי AI לראייה
שבבים שמשלבים עיבוד תמונה, קידוד וידאו ו-NPU למצלמות ולמכשירי ראייה. רכיבים חדשים יותר מריצים טרנספורמרים לצד רשתות CNN.
ראו אפיון ספריות- הספק לכל זרם וידאו
- חום בתוך מארזים אטומים
- עלות
שבבי ASIC מותאמים אישית ל-AI בענן (XPU)
מאיצי AI שספקיות ענן מגדירות לעומסי העבודה שלהן.
ראו תכנון full-custom- ליבות טנזור יעילות
- זיכרון ברוחב פס גבוה
- לוח זמנים לפיתוח
שבבים למחשבי AI ולטלפוני AI
ה-NPU, ה-GPU וה-CPU חולקים את העבודה על המודל, והשבבים האלה מגיעים לצרכנים בכמויות גדולות מאוד.
ראו אפיון ספריות- ביצועים מתמשכים וחום
- חיי סוללה
- רוחב פס של LPDDR
שבבים לרכב ולרובוטיקה
שבבים שמטפלים בתפיסה ובתכנון מסלול, עם דרישות של זמן אמת ובטיחות. רובוטים דמויי אדם ורחפנים עובדים בהספק מצומצם יותר.
ראו תכנון full-custom- בטיחות פונקציונלית
- חום
- ממשקי חיישנים
שבבים למשקפי AI ולמכשירים לבישים
שבבים בהספק נמוך מאוד לסוללות קטנות, לעיתים קרובות בשילוב מעבד עזר שפועל ברציפות.
ראו אפיון ספריות- הספק בפעולה רציפה
- חום במסגרת
- עלות רשימת הרכיבים
- הספק בהמתנה
- עלות
- גודל המודל
שבבי חישוב בתוך הזיכרון
שבבים שמחשבים בתוך מערכי זיכרון או לצידם כדי לצמצם תנועת נתונים, בגרסאות דיגיטליות ואנלוגיות.
ראו תאים מותאמים אישית- עצי מחברים ותאי ביט
- קיבולת למודלים גדולים
- תמיכת תוכנה
איך טכניקות full-custom חלות על שבבי AI
לכל טכניקה במתודולוגיה שלנו יש מקום בשבב AI.
ליבת החישוב של שבב AI חוזרת על הדפוס רגיסטר, לוגיקה צירופית, רגיסטר. היא ממתגת לעיתים קרובות והמבנה שלה סדיר, ולכן היא מתאימה לתכנון full-custom.
תאים מותאמים אישית
רגיסטרים, לאצ'ים, מחברים מלאים ותאי דחיסה שמתוכננים למערך ה-MAC ולפייפליין. ככל שיש יותר רגיסטרים, כך גדל הרווח מתאים סדרתיים מותאמים אישית.
תאים סדרתיים מרובי-ביטים ודינמיים
רגיסטרים מרובי-ביטים חולקים פין שעון אחד בין כמה ביטים כדי להוריד את הספק השעון, והארכיטקטורה קובעת בין תאים סטטיים לדינמיים, ובין פליפ-פלופים ללאצ'ים.
אפיון ספריות ואפיון מחדש
תאים מותאמים אישית מאופיינים וספריות מורחבות למתח הפעולה האמיתי, עם מודלים שמקבלים אישור סופי יחד עם התאים של יצרנית השבבים.
נטליסטים ידניים
מכפלים, עצי מחברים ושלבי פייפליין ב-RTL ממופים לתאים מותאמים אישית, עם מתן שמות סדיר עבור סקריפטים ומיקום.
מיקום וניתוב ידניים
מערך MAC ממוקם ב-bit slices סדירים, מה שמקצר חוטים ומקטין שטח. ככל שהמערך גדול יותר, כך הרווח גדול יותר.
עצי שעון מותאמים אישית
פיזור שעון שמתוכנן למערך סדיר, ושולט ב-skew ובהספק השעון.
תכנון למתח נמוך
ההספק הדינמי עוקב אחר ריבוע המתח. תכנון full-custom מאפשר לליבת חישוב לפעול במתח נמוך יותר, ומעלה את כוח החישוב לכל ואט.
תאים עם מתחי סף מעורבים
במיקום ידני, תא אחד יכול לשלב סוגי מתח סף שונים, לאופטימיזציה עמוקה של נתיבים קריטיים ושל ההספק.
אספקת הספק ו-IR drop
רשת ההספק לחישוב צפוף מתוכננת יחד עם המיקום, עם ניתוח IR drop סטטי ודינמי.
תוכניות טכניות
תוכניות טכניות ב-full-custom ל-NPU.
מתוך עבודת ה-full-custom שלנו על NPU למעבד AI של לקוח AI מוביל, ללא פרטי הלקוח.
שתי רמות עומק של התאמה
התאמה קלה משתמשת בספריית תאים מותאמת אישית עם סינתזה ומיקום וניתוב אוטומטיים. התאמה עמוקה בונה בלוקים מתאים מותאמים אישית, לרווח גדול יותר ולאישור סופי עצמאי יותר.
התאמה של מערך MAC
תכנון מותאם אישית ברמת הבלוק של מכפלים בנקודה קבועה כגון INT8, עצי מחברים ורגיסטרים של פייפליין. ככל שמערך ה-MAC גדול יותר, כך ההתאמה משתלמת יותר.
הערכה מול קו בסיס
עם תאים סטנדרטיים ומיקום וניתוב אוטומטיים כקו בסיס, כל אחד מהרכיבים – תאים מותאמים אישית, נטליסטים ידניים, עצי שעון ידניים ומיקום וניתוב ידניים – מוערך מבחינת שטח, הספק ומהירות.
בחירת תאים סדרתיים
פליפ-פלופים דינמיים, לאצ'ים דינמיים או תאים סטטיים, לפי הארכיטקטורה ושיטת השעון. תכנון מבוסס לאצ'ים יכול להשתמש בשעונים תלת-פאזיים ללא חפיפה.
אישור סופי ברמת הבלוק
בלוקים מותאמים אישית מקבלים אישור סופי בנפרד, וניתוח התזמון הסטטי ברמה העליונה קורא את מודלי הבלוקים, בתיאום עם זרימת ה-back-end הדיגיטלית.
בדיקת ליבת החישוב
ליבת חישוב יכולה לכלול בדיקה פונקציונלית מובנית, עם וקטורים פונקציונליים שבודקים את התוצאות שלה.
עבודה מול ה-front-end
היררכיית RTL וזרימת נתונים ברורות, ונתוני תאים מדויקים לסימולציית הספק.
יעדי מתח נמוך
אפיון ספריות או אפיון מחדש במתח היעד, כשסימולציית מעגלים מכיילת את מודלי התזמון וההספק של התאים המותאמים אישית.
תוצרים
מסמך זרימת full-custom, ודוחות על תאים מותאמים אישית, נטליסטים ברמת השערים ומיקום וניתוב.
דרכים לעבוד יחד
ארבעה שלבים, צעד אחד בכל פעם.
הערכה טכנית
אתם שולחים את השאלות הטכניות שלכם; אנחנו עונים בפירוט ומעריכים אם תכנון full-custom מתאים למקרה שלכם.
תוכנית אופטימיזציה
אנחנו מנתחים את התכנון שלכם ומציעים כיוונים, תוכניות טכניות ואת השיפור הצפוי ב-PPA.
ייעוץ תכנון
הכוונה לזרימת העבודה, סקירות תכנון ותמיכה במימוש עבור הצוות שלכם.
תכנון full-custom
שירות התכנון המלא, מתכנון מאופטם ועד טייפ-אאוט, עם מסירה של כל נתוני התכנון.
טכנולוגיות חמות בשבבי AI
- מערך MAC
- מערך חישוב של יחידות כפל-וסיכום רבות, בלב ה-NPU ושבבי ההסקה.
- HBM (זיכרון ברוחב פס גבוה)
- DRAM מוערם שנארז יחד עם המעבד. מוצרים נוכחיים משתמשים ב-HBM3E וב-HBM4, ובהמשך יגיע HBM4E.
- CoWoS ואריזת 2.5D
- אריזה מתקדמת שמחברת מעבד ו-HBM על גבי אינטרפוזר. הקיבולת שלה משפיעה על אספקת שבבי ה-AI המתקדמים.
- ערימה תלת-ממדית (3D) וחיבור היברידי
- שבבים שנערמים אנכית ומחוברים בחיבור היברידי, כדי לקצר את הקישוריות.
- צ'יפלטים ו-UCIe
- שבב גדול שמחולק לכמה שבבים קטנים יותר. UCIe הוא תקן פתוח לחיבור ביניהם.
- אופטיקה ארוזה יחד (CPO)
- מנועים אופטיים שנארזים לצד שבב מיתוג או חישוב, כדי להוריד את ההספק של קישורים לטווח ארוך.
- חישוב בתוך הזיכרון
- חישוב בתוך מערכי זיכרון או לצידם, כדי לצמצם תנועת נתונים.
- קוונטיזציה בדיוק נמוך
- משקלים והפעלות שנשמרים בפחות ביטים, כגון INT8, INT4, FP8 או FP4, כדי להפחית את העלות של מכפלים וזיכרון.
- האצת טרנספורמרים
- נתיבי נתונים שעברו אופטימיזציה לחישובי attention ומטריצות.
- מטמון KV ועלות לכל טוקן
- מטמון ה-KV בהסקה של מודלים גדולים גדל עם אורך ההקשר, והעלות לכל טוקן הפכה למדד מרכזי של שבבי הסקה.
- SRAM גדול
- משקלי המודל או ההקשר נשמרים על השבב, כדי להוריד את אנרגיית הגישה ואת ההשהיה.
- רשת על שבב (NoC)
- הקישוריות שעל השבב בין יחידות החישוב לזיכרון.
- RISC-V ל-AI
- מעבדי AI ומאיצים שמבוססים על סט הפקודות הפתוח.
- תכנון במתח נמוך וסמוך לסף
- ליבת חישוב שפועלת קרוב למתח הסף של הטרנזיסטור, ליעילות אנרגטית. תכנון במתח נמוך נשען על מודלי ספריות מדויקים.
- אספקת הספק מגב הפרוסה
- רשת ההספק מועברת לגב הפרוסה, כדי להוריד את ה-IR drop.
- GAA ו-2 nm
- טרנזיסטורי gate-all-around, שמחליפים את FinFET בדור ה-2 nm.
יישומים
יישומים של שבבי AI
שאלות על שבבי AI
מה ההבדל בין שבבי הסקה לשבבי אימון?
שבבי אימון מתאימים את משקלי המודל לנתונים, ולכן הכי חשובים בהם חישוב בנקודה צפה, רוחב פס של זיכרון וקישוריות באשכול. שבבי הסקה מריצים מודלים מאומנים, ולכן הכי חשובים בהם העלות, ההספק וההשהיה לכל בקשה.
במה שבבי הסקת LLM שונים משבבי הסקת AI?
שבב הסקת LLM הוא סוג של שבב הסקת AI שמפיק טוקנים עבור מודלי טרנספורמר. הכי חשובים בו העלות לכל טוקן ורוחב הפס של הזיכרון למטמון ה-KV.
מהו שבב AI בקצה?
שבב AI בקצה או במכשיר מריץ מודלים בתוך מכשיר כמו טלפון, מחשב אישי, משקפיים או מצלמה, בלי להסתמך על הענן. המגבלות העיקריות שלו הן תקציב ההספק, רוחב הפס של LPDDR ועלות רשימת הרכיבים.
מהו שבב NPU?
NPU הוא מעבד שנבנה לחישובים האריתמטיים של רשתות נוירונים, ובליבתו מערך MAC וזיכרון מקומי. הוא יכול להיות שבב נפרד או בלוק בתוך SoC.
מהו שבב חישוב בתוך הזיכרון?
הוא מחשב בתוך מערכי זיכרון או לצידם, ומצמצם את הנתונים שעוברים בין הזיכרון ליחידות החישוב. הוא קיים בגרסאות דיגיטליות ואנלוגיות.
אילו חלקים של שבב AI מתאימים לתכנון full-custom?
הכי מתאימים בלוקים סדירים שממתגים לעיתים קרובות, כמו מערכי MAC, מכפלים, עצי מחברים ורגיסטרים של פייפליין. לוגיקת בקרה וממשקים נשארים בזרימת כלים סטנדרטית.
איך אפיון ספריות ומיקום וניתוב ידניים עוזרים לשבב AI?
אפיון ספריות נותן לתאים מותאמים אישית ולספריות למתח נמוך מודלים מדויקים, ומיקום וניתוב ידניים הופכים מערך MAC לסדיר יותר עם חוטים קצרים יותר. יחד הם מאפשרים לליבת חישוב לפעול במתח נמוך יותר.
באילו תהליכים אתם תומכים?
יש לנו חשבון ישיר ב-TSMC, ועבודת התכנון שלנו מכסה FinFET ב-16 nm, ב-12 nm, ב-7 nm וב-6 nm.
דפים קשורים
יש לכם פרויקט של שבב AI?
ספרו לנו על המודל, יעד החישוב, תקציב ההספק ותהליך היעד, ונחזור אליכם.