חוקרי פרינסטון שיחזרו לחלוטין את הפיזיקה של המחשוב כדי לבנות שבב לעומסי עבודה מודרניים של AI, ועם גיבוי חדש של ממשלת ארה"ב הם יראו כמה מהיר, קומפקטי וחסכוני השבב הזה יכול להגיע. אב טיפוס מוקדם מוצג למעלה. קרדיט: Hongyang Jia/Princeton University
פרויקט שבב AI המתקדם של פרינסטון, בגיבוי DARPA ו-EnCharge AI, מבטיחים שיפורים משמעותיים ביעילות האנרגיה ובכוח המחשוב, במטרה לחולל מהפכה בנגישות וביישום של AI.
ארגון המחקר הגדול ביותר של משרד ההגנה שיתף פעולה עם מאמץ בראשות פרינסטון לפיתוח שבבים מתקדמים לבינה מלאכותית.
החומרה החדשה מדמיינת מחדש שבבי AI לעומסי עבודה מודרניים ויכולה להפעיל מערכות AI חזקות תוך שימוש בהרבה פחות אנרגיה מהמתקדמים ביותר של היום מוליכים למחצהלדברי נווין ורמה, פרופסור להנדסת חשמל ומחשבים. ורמה, שתוביל את הפרויקט, אמרה שההתקדמות פורצת את מחסומי המפתח שפגעו בשבבים עבור AI, כולל גודל, יעילות ומדרגיות.
מהפכה בפריסת AI
ניתן לפרוס שבבים שדורשים פחות אנרגיה כדי להפעיל בינה מלאכותית בסביבות דינמיות יותר, ממחשבים ניידים וטלפונים לבתי חולים וכבישים מהירים למסלול נמוך של כדור הארץ ומעבר לו. סוגי השבבים המפעילים את הדגמים המתקדמים ביותר של ימינו הם מגושמים מדי ולא יעילים להפעלה במכשירים קטנים, והם מוגבלים בעיקר למדפי שרתים ומרכזי נתונים גדולים.
כעת, הסוכנות לפרויקטי מחקר מתקדמים בהגנה, או DARPA, הודיעה שהיא תתמוך בעבודתו של ורמה, המבוססת על חבילת המצאות מפתח מהמעבדה שלו, עם מענק של 18.6 מיליון דולר. המימון של DARPA יוביל לחקר כמה מהיר, קומפקטי וחסכוני יכול השבב החדש להגיע.
"יש מגבלה די חשובה עם ה-AI הטוב ביותר שזמין רק במרכז הנתונים", אמר ורמה. "אתה פותח את זה מזה והדרכים שבהן אנחנו יכולים לקבל ערך מ-AI, אני חושב, מתפוצצות."
פרופסור Naveen Verma תוביל פרויקט בגיבוי ארה"ב להטענת חומרת AI על בסיס חבילת המצאות מפתח ממעבדת פרינסטון שלו. קרדיט: Sameer A. Khan/Fotobuddy
ההכרזה הגיעה כחלק ממאמץ רחב יותר של DARPA לממן "התקדמות מהפכנית במדע, מכשירים ומערכות" עבור הדור הבא של מחשוב בינה מלאכותית. התוכנית, הנקראת OPTIMA, כוללת פרויקטים על פני מספר אוניברסיטאות וחברות. הקריאה להצעות של התוכנית העריכה את המימון הכולל ב-78 מיליון דולר, אם כי DARPA לא חשפה את רשימת המוסדות המלאה או את סכום המימון הכולל שהתוכנית העניקה עד כה.
הופעתה של EnCharge AI
בפרויקט בראשות פרינסטון, החוקרים ישתפו פעולה עם הסטארט-אפ של Verma, EnCharge AI. מבוססת בסנטה קלרה, קליפורניה, EnCharge AI מסחור טכנולוגיות המבוססות על תגליות מהמעבדה של ורמה, כולל כמה מאמרים מרכזיים שכתב יחד עם סטודנטים לתואר שני בהנדסת חשמל עד 2016.
Encharge AI "מביאה מנהיגות בפיתוח וביצוע של ארכיטקטורות מחשוב עם אותות מעורבים חזקות וניתנות להרחבה", על פי הצעת הפרויקט. Verma הקים את החברה ב-2022 יחד עם Kailash Gopalakrishnan, עמית IBM לשעבר, ו-Echere Iroaga, מובילה בעיצוב מערכות מוליכים למחצה.
Gopalakrishnan אמר כי חדשנות בארכיטקטורות מחשוב קיימות, כמו גם שיפורים בטכנולוגיית סיליקון, החלו להאט בדיוק בזמן שבו AI החלה ליצור דרישות חדשות ומסיביות לכוח חישוב ויעילות. אפילו יחידת העיבוד הגרפית (GPU) הטובה ביותר, המשמשת להפעלת מערכות הבינה המלאכותית של היום, לא יכולה להפחית את צווארי הבקבוק בזיכרון ובאנרגיית המחשוב העומדת בפני התעשייה.
"בעוד שמעבדי GPU הם הכלי הזמין הטוב ביותר כיום", הוא אמר, "הגענו למסקנה כי יהיה צורך בסוג חדש של שבב כדי לפתוח את הפוטנציאל של AI."
שינוי נוף מחשוב בינה מלאכותית
בין 2012 ל-2022, כמות כוח המחשוב הנדרשת על ידי מודלים של AI גדלה בכמיליון אחוז, לפי ורמה, שהיא גם מנהלת מרכז קלר לחדשנות בחינוך הנדסי ב- אוניברסיטת פרינסטון. כדי לענות על הביקוש, השבבים האחרונים מכילים עשרות מיליארדי טרנזיסטורים, כל אחד מופרד ברוחב של קטן נגיף. ובכל זאת, השבבים עדיין אינם צפופים מספיק בכוח המחשוב שלהם לצרכים מודרניים.
המודלים המובילים של היום, המשלבים מודלים של שפה גדולים עם ראייה ממוחשבת וגישות נוספות ל למידת מכונה, פותחו תוך שימוש ביותר מטריליון משתנים כל אחד. ה-GPUs בעיצוב Nvidia שהניעו את תנופת הבינה המלאכותית הפכו לבעלי ערך רב כל כך, לפי הדיווחים, חברות גדולות מעבירות אותם באמצעות מכונית משוריינת. צפיפות הקנייה או החכירה של השבבים הללו נמתחת עד לנקודת המגוז.
כאשר Nvidia הפכה לחברה השלישית בלבד אי פעם שהגיעה להערכת שווי של 2 טריליון דולר, הוול סטריט ג'ורנל דיווח כי נתח גדל במהירות מההכנסות הגדלות של החברה הגיע לא דרך פיתוח המודלים, הנקראים הדרכה, אלא בשבבים המאפשרים שימוש ב- מערכות AI ברגע שהן כבר מאומנות. טכנולוגיים מתייחסים לשלב הפריסה הזה כאל מסקנות. והמסק הוא המקום בו ורמה אומר למחקר שלו תהיה ההשפעה הגדולה ביותר בטווח הקרוב-בינוני.
"זה הכל על ביזור בינה מלאכותית, לשחרר אותה ממרכז הנתונים", אמר. "זה חייב לצאת ממרכז הנתונים למקומות שבהם אנחנו והתהליכים החשובים לנו יכולים לגשת הכי הרבה למחשוב, וזה טלפונים, מחשבים ניידים, מפעלים, דברים מהסוג הזה."
טכנולוגיית שבב AI חדשנית
כדי ליצור שבבים שיכולים להתמודד עם עומסי עבודה מודרניים של AI בסביבות קומפקטיות או מוגבלות באנרגיה, החוקרים נאלצו לדמיין מחדש לחלוטין את הפיזיקה של המחשוב תוך תכנון ואריזה של חומרה שניתן לייצר בטכניקות ייצור קיימות ושיכולה לעבוד היטב עם טכנולוגיות מחשוב קיימות. כגון יחידת עיבוד מרכזית.
"דגמי AI התפוצצו בגודלם", אמר ורמה, "וזה אומר שני דברים." שבבי AI צריכים להיות הרבה יותר יעילים בביצוע מתמטיקה והרבה יותר יעילים בניהול והעברת נתונים.
לגישה שלהם שלושה חלקים מרכזיים.
ארכיטקטורת הליבה של כמעט כל מחשב דיגיטלי עקבה אחר דפוס פשוט מטעה שפותח לראשונה בשנות ה-40: אחסן נתונים במקום אחד, בצע חישוב במקום אחר. זה אומר להעביר מידע בין תאי זיכרון למעבד. בעשור האחרון, ורמה הייתה חלוצה במחקר בגישה מעודכנת שבה החישוב נעשה ישירות בתאי זיכרון, הנקראים מחשוב בזיכרון. זה חלק ראשון. ההבטחה היא שמחשוב בזיכרון יקטין את הזמן והאנרגיה שעלותם להעביר ולעבד כמויות גדולות של נתונים.
אבל עד כה, הגישות הדיגיטליות למחשוב בזיכרון היו מוגבלות מאוד. ורמה וצוותו פנו לגישה חלופית: חישוב אנלוגי. זה חלק שני.
"במקרה המיוחד של מחשוב בזיכרון, אתה לא רק צריך לעשות מחשוב ביעילות", אמר ורמה, "אתה גם צריך לעשות את זה בצפיפות גבוהה מאוד כי עכשיו זה צריך להתאים לתוך תאי הזיכרון הזעירים האלה". במקום לקודד מידע בסדרה של 0 ו-1, ולעבד מידע זה באמצעות מעגלים לוגיים מסורתיים, מחשבים אנלוגיים ממנפים את הפיזיקה העשירה יותר של המכשירים. העקמומיות של הילוך. היכולת של חוט להחזיק מטען חשמלי.
אותות דיגיטליים החלו להחליף את האותות האנלוגיים בשנות הארבעים, בעיקר בגלל שהקוד הבינארי התרחב טוב יותר עם הצמיחה האקספוננציאלית של המחשוב. אבל אותות דיגיטליים אינם נוגעים לעומק הפיזיקה של מכשירים, וכתוצאה מכך, הם יכולים לדרוש יותר אחסון וניהול נתונים. הם פחות יעילים בצורה כזו. אנלוגי מקבל את היעילות שלו מעיבוד אותות עדינים יותר באמצעות הפיזיקה הפנימית של המכשירים. אבל זה יכול לבוא עם פשרה בדייקנות.
"המפתח הוא במציאת הפיזיקה המתאימה לתפקיד במכשיר שניתן לשלוט בו בצורה טובה במיוחד וליצור בקנה מידה," אמר ורמה.
הצוות שלו מצא דרך לבצע חישוב מדויק ביותר באמצעות האות האנלוגי שנוצר על ידי קבלים שתוכננו במיוחד להפעלה וכיבוי בדיוק מדויק. זה חלק שלישי. שלא כמו התקני מוליכים למחצה כגון טרנזיסטורים, האנרגיה החשמלית הנעה דרך קבלים אינה תלויה בתנאים משתנים כמו טמפרטורה וניידות אלקטרונים בחומר.
"הם תלויים רק בגיאומטריה," אמר ורמה. "הם תלויים במרווח בין חוט מתכת אחד לחוט המתכת השני." וגיאומטריה היא דבר אחד שהטכניקות המתקדמות ביותר של ייצור מוליכים למחצה של היום יכולות לשלוט בו בצורה מצוינת.
