תמונה של "המל"ט הנוירומורפי" עף מעל תבנית פרחים. זה ממחיש את התשומות החזותיות שהרחפן מקבל מהמצלמה הנוירומורפית בפינות. אדום מציין שהפיקסלים הולכים ונעשים כהים, ירוק מציין שהפיקסלים נעשים בהירים יותר. קרדיט: Guido de Croon
מערכת הראייה והבקרה הנוירומורפית הראשונה יושמה במזל"ט מעופף.
חוקרים מאוניברסיטת דלפט לטכנולוגיה יצרו מזל"ט שיכול לעוף באופן אוטונומי, תוך שימוש בעיבוד תמונה נוירומורפי ובקרה בהשראת תפקוד מוחות בעלי חיים. מוחות של בעלי חיים מעבדים נתונים וצורכים אנרגיה בצורה יעילה יותר מאשר רשתות עצבים עמוקות המופעלות בדרך כלל על GPUs. כתוצאה מכך, מעבדים נוירומורפיים הם אידיאליים עבור מל"טים קטנים, מכיוון שהם מבטלים את הצורך בחומרה מגושמת וסוללות גדולות.
התוצאות יוצאות דופן: במהלך טיסה, הרשת העצבית העמוקה של המל"ט מעבדת נתונים עד פי 64 מהר יותר וצורכת פי שלושה פחות אנרגיה מאשר בהפעלה על GPU. פיתוחים נוספים של טכנולוגיה זו עשויים לאפשר לקפיצת המדרגה של מזל"טים להפוך לקטנים, זריזים וחכמים כמו חרקים מעופפים או ציפורים. הממצאים פורסמו לאחרונה ב מדע רובוטיקה.
למידה ממוחם של בעלי חיים: רשתות עצביות מתקדמות
לבינה מלאכותית יש פוטנציאל גדול לספק לרובוטים אוטונומיים את הבינה הדרושה ליישומים בעולם האמיתי. עם זאת, AI נוכחי מסתמך על רשתות עצביות עמוקות הדורשות כוח מחשוב משמעותי. המעבדים המיועדים להפעלת רשתות עצביות עמוקות (יחידות עיבוד גרפיות, GPUs) צורכים כמות ניכרת של אנרגיה. במיוחד עבור רובוטים קטנים כמו רחפנים מעופפים זו בעיה, מכיוון שהם יכולים לשאת משאבים מוגבלים בלבד מבחינת חישה ומחשוב.
מוחות של בעלי חיים מעבדים מידע בצורה שונה מאוד מהרשתות העצביות הפועלות על GPUs. נוירונים ביולוגיים מעבדים מידע באופן אסינכרוני, ובעיקר מתקשרים באמצעות פולסים חשמליים הנקראים קוצים. מכיוון ששליחת דוקרנים כאלה עולה אנרגיה, המוח ממזער את התדירות, מה שמוביל לעיבוד דליל.
Timelapse של מזל"ט מעופף עם בינה מלאכותית נוירומורפית המופעלת על ידי Liohi. קרדיט: Guido de Croon
בהשראת תכונות אלה של מוחות בעלי חיים, מדענים וחברות טכנולוגיה מפתחים חדשים, נוירומורפי מעבדים. המעבדים החדשים הללו מאפשרים להפעיל רשתות עצביות מתקדמות ומבטיחים להיות הרבה יותר מהירים וחסכוניים באנרגיה.
"החישובים המבוצעים על ידי רשתות עצביות מתקדמות הם הרבה יותר פשוטים מאלה שברשתות עצביות עמוקות סטנדרטיות", אומר ג'סי הגנרס, מועמד לדוקטורט ואחד ממחברי המאמר, "בעוד נוירונים דיגיטליים רק צריכים להוסיף מספרים שלמים, נוירונים סטנדרטיים חייבים הכפל והוסף מספרי נקודה צפה. זה הופך את הרשתות העצבית למהירות יותר וחסכוניות יותר באנרגיה. כדי להבין מדוע, חשבו כיצד לבני אדם גם קל הרבה יותר לחשב 5 + 8 מאשר לחשב 6.25 x 3.45 + 4.05 x 3.45."
יעילות אנרגטית זו מוגברת עוד יותר אם נעשה שימוש במעבדים נוירומורפיים בשילוב עם חיישנים נוירומורפיים, כמו מצלמות נוירומורפיות. מצלמות כאלה לא יוצרות תמונות במרווח זמן קבוע. במקום זאת, כל פיקסל שולח אות רק כאשר הוא נעשה בהיר או כהה יותר. היתרונות של מצלמות כאלה הן שהן יכולות לקלוט תנועה הרבה יותר מהר, חסכוניות יותר באנרגיה ומתפקדות היטב הן בסביבות חשוכות והן בסביבות מוארות. יתר על כן, האותות ממצלמות נוירומורפיות יכולים להזין ישירות לרשתות עצביות מתקדמות הפועלות על מעבדים נוירומורפיים. יחד, הם יכולים להוות גורם עצום עבור רובוטים אוטונומיים, במיוחד רובוטים קטנים וזריזים כמו מל"טים מעופפים.
ראייה נוירומורפית ראשונה ושליטה ברחפן מעופף
במאמר שפורסם ב מדע רובוטיקה, חוקרים מאוניברסיטת דלפט לטכנולוגיה, הולנד, מדגימים לראשונה מזל"ט שמשתמש בראייה ובקרה נוירומורפית לטיסה אוטונומית. באופן ספציפי, הם פיתחו רשת עצבית מתקדמת שמעבדת את האותות ממצלמה נוירומורפית ומוציאה פקודות בקרה הקובעות את תנוחת המל"ט והדחף. הם פרסו את הרשת הזו על מעבד נוירומורפי, שבב המחקר הנוירומורפי Loihi של אינטל, על סיפון מזל"ט. הודות לרשת, הרחפן יכול לתפוס ולשלוט בתנועה שלו לכל הכיוונים.
מזל"ט ראשון טס עם בינה מלאכותית נוירומורפית של ראייה לשליטה. קרדיט: Guido de Croon
"עמדנו בפני אתגרים רבים", אומר פדריקו פארדס-ואלס, אחד החוקרים שעבדו על המחקר, "אבל הקשה ביותר היה לדמיין אֵיך נוכל לאמן רשת עצבית מתקדמת כך שהאימון יהיה מהיר מספיק ו הרשת המאומנת תתפקד היטב על הרובוט האמיתי. בסופו של דבר, תכננו רשת המורכבת משני מודולים. המודול הראשון לומד לתפוס תנועה חזותית מהאותות של מצלמה נוירומורפית נעה. הוא עושה זאת לגמרי בעצמו, בפיקוח עצמי, רק על סמך הנתונים מהמצלמה. זה דומה לאופן שבו גם בעלי חיים לומדים לתפוס את העולם בעצמם. המודול השני לומד למפות את התנועה המשוערת לשליטה בפקודות, בסימולטור. למידה זו הסתמכה על אבולוציה מלאכותית בסימולציה, שבה לרשתות שהיו טובות יותר בשליטה על המל"ט היה סיכוי גבוה יותר להוליד צאצאים. במהלך הדורות של האבולוציה המלאכותית, רשתות העצבים המתקדמות הפכו טובות יותר בשליטה, ולבסוף הצליחו לעוף לכל כיוון במהירויות שונות. הכשרנו את שני המודולים ופיתחנו דרך שבה נוכל למזג אותם יחד. שמחנו לראות שהרשת הממוזגת עבדה מיד היטב על הרובוט האמיתי".
עם הראייה והשליטה הנוירומורפית שלו, המל"ט מסוגל לעוף במהירויות שונות בתנאי אור משתנים, מחושך לבהיר. הוא אפילו יכול לעוף עם אורות מהבהבים, שגורמים לפיקסלים במצלמה הנוירומורפית לשלוח מספר רב של אותות לרשת שאינם קשורים לתנועה.
יעילות אנרגיה ומהירות משופרת על ידי AI נוירומורפי
"חשוב לציין, המדידות שלנו מאשרות את הפוטנציאל של AI נוירומורפי. הרשת פועלת בממוצע בין 274 ל-1600 פעמים בשנייה. אם נריץ את אותה רשת על GPU קטן ומשובץ, הוא פועל בממוצע רק 25 פעמים בשנייה, הבדל של פקטור ~10-64! יתרה מכך, בעת הפעלת הרשת, שבב המחקר הנוירומורפי Loihi של אינטל צורך 1.007 וואט, מתוכם 1 וואט הוא הספק הסרק שמוציא המעבד בדיוק בעת הפעלת השבב. הפעלת הרשת עצמה עולה רק 7 מיליוואט. לשם השוואה, בעת הפעלת אותה רשת, ה-GPU המוטבע צורך 3 וואט, מתוכם 1 וואט הוא הספק סרק ו-2 וואט מושקעים להפעלת הרשת. הגישה הנוירומורפית מביאה לבינה מלאכותית שפועלת מהר יותר ויעילה יותר, ומאפשרת פריסה על רובוטים אוטונומיים קטנים בהרבה", אומר סטיין סטרובנטס, מועמד לדוקטורט בתחום המל"טים הנוירומורפיים.
יישומים עתידיים של AI נוירומורפי לרובוטים זעירים
"בינה מלאכותית נוירומורפית תאפשר לכל הרובוטים האוטונומיים להיות אינטליגנטיים יותר", אומר גווידו דה קרון, פרופסור למזל"טים בהשראת ביו, "אבל זה מאפשר מוחלט לרובוטים אוטונומיים זעירים. בפקולטה להנדסת אווירונאוטיקה וחלל של אוניברסיטת דלפט, אנו עובדים על מל"טים אוטונומיים זעירים שיכולים לשמש ליישומים החל מניטור יבול בחממות ועד לעקוב אחר המלאי במחסנים. היתרונות של מזל"טים זעירים הם שהם בטוחים מאוד ויכולים לנווט בסביבות צרות כמו בין טווחים של צמחי עגבניות. יתרה מכך, הם יכולים להיות מאוד זולים, כך שניתן יהיה לפרוס אותם בנחילים. זה שימושי לכיסוי מהיר יותר של אזור, כפי שהראינו בהגדרות חיפוש ולוקליזציה של מקור גז."
"העבודה הנוכחית היא צעד גדול בכיוון הזה. עם זאת, המימוש של יישומים אלה יהיה תלוי בהקטנת החומרה הנוירומורפית והרחבת היכולות לקראת משימות מורכבות יותר כמו ניווט".
