חוקרים מראים כיצד ניתן להפחית במידה ניכרת את צריכת האנרגיה של AI עם מודלים חסכוניים באנרגיה, מה שמוביל לחיסכון משמעותי באנרגיה מבלי להשפיע באופן משמעותי על הביצועים. הם מספקים מדריך לפיתוח AI תוך עדיפות ליעילות אנרגטית. קרדיט: twoday.co.il.com
הפיתוח של מודלים של בינה מלאכותית הוא גורם אקלים שמתעלם ממנו. מדעני מחשבים מאוניברסיטת קופנהגן יצרו ספר מתכונים לעיצוב מודלים של בינה מלאכותית שצורכים הרבה פחות אנרגיה מבלי לפגוע בביצועים. הם טוענים שצריכת האנרגיה וטביעת הרגל הפחמנית של מודל צריכים להיות קריטריון קבוע בעת תכנון והדרכה של מודלים של AI.
העובדה שדרושות כמויות עצומות של אנרגיה כדי לחפש בגוגל, לדבר עם סירי, לבקש מ-ChatGPT לעשות משהו, או להשתמש בבינה מלאכותית בכל מובן, הפכה בהדרגה לידע נפוץ. מחקר אחד מעריך שעד 2027, שרתי AI יצרכו אנרגיה כמו ארגנטינה או שוודיה. ואכן, הנחיה אחת של ChatGPT מוערכת שתצרוך, בממוצע, אנרגיה כמו ארבעים טעינות טלפון נייד. אבל קהילת המחקר והתעשייה עדיין לא הפכו את הפיתוח של מודלים של AI שהם יעילים באנרגיה ובכך ידידותיים יותר לאקלים למוקד, מציינים חוקרי מדעי המחשב מאוניברסיטת קופנהגן.
השינוי לעבר AI חסכוני באנרגיה
"היום, מפתחים מתמקדים בקושי בבניית מודלים של AI יעילים מבחינת דיוק מהתוצאות שלהם. זה כמו לומר שמכונית יעילה כי היא מביאה אותך ליעדך במהירות, מבלי להתחשב בכמות הדלק שהיא צורכת. כתוצאה מכך, מודלים של בינה מלאכותית לרוב אינם יעילים במונחים של צריכת אנרגיה", אומר עוזר פרופסור Raghavendra Selvan מהמחלקה למדעי המחשב, שמחקרו בוחן אפשרויות להפחתת טביעת הרגל הפחמנית של AI.
מדוע טביעת רגל הפחמן של AI כל כך גדולה?
אימון מודלים של AI צורכת הרבה אנרגיה, ובכך פולטת הרבה CO2e. זה נובע מהחישובים האינטנסיביים המבוצעים תוך כדי אימון מודל, המופעל בדרך כלל על מחשבים רבי עוצמה. זה נכון במיוחד עבור דגמים גדולים, כמו מודל השפה מאחורי ChatGPT. משימות בינה מלאכותית מעובדות לעתים קרובות במרכזי נתונים, אשר דורשים כמויות משמעותיות של כוח כדי לשמור על מחשבים פועלים וקרירים. מקור האנרגיה של מרכזים אלה, שעשוי להסתמך על דלקים מאובנים, משפיע על טביעת הרגל הפחמנית שלהם.
אבל המחקר החדש, שהוא ותלמיד מדעי המחשב פדרם בחטיאריפארד הם שניים מהמחברים שלו, מדגים שקל לרסן הרבה מאוד CO2e מבלי להתפשר על הדיוק של מודל AI. פעולה זו דורשת לזכור את עלויות האקלים משלבי התכנון וההדרכה של מודלים של AI.
"אם אתה מרכיב מודל חסכוני באנרגיה מההתחלה, אתה מפחית את טביעת הרגל הפחמנית בכל שלב של 'מחזור החיים' של המודל. זה תקף הן לאימון המודל, שהוא תהליך עתיר אנרגיה במיוחד שלעיתים לוקח שבועות או חודשים, והן ליישום שלו”, אומר סלבן.
כל נקודה באיור זה היא מודל של רשת עצבית קונבולוציונית עם צריכת האנרגיה על הציר האופקי וביצועים על הציר האנכי. באופן קונבנציונלי, דגמים נבחרים רק על סמך הביצועים שלהם – מבלי לקחת בחשבון את צריכת האנרגיה שלהם – וכתוצאה מכך מודלים באליפסה האדומה. עבודה זו מאפשרת למתרגלים לבחור דגמים מהאליפסה הירוקה, מה שנותן פשרה טובה בין יעילות ליעילות. קרדיט: דמות ממאמר מדעי (https://ieeexplore.ieee.org/document/10448303)
ספר מתכונים לתעשיית הבינה המלאכותית
במחקר שלהם, החוקרים חישבו כמה אנרגיה נדרשת כדי לאמן יותר מ-400,000 רשת נוירונים מפותלת דגמי בינה מלאכותית – זה נעשה מבלי להכשיר את כל הדגמים האלה. בין השאר, רשתות עצביות קונבולוציוניות משמשים לניתוח דימויים רפואיים, לתרגום שפה ולזיהוי עצמים ופנים – פונקציה שאולי תכירו מאפליקציית המצלמה בסמארטפון שלכם.
בהתבסס על החישובים, החוקרים מציגים אוסף בנצ'מרק של מודלים של בינה מלאכותית שצורכים פחות אנרגיה כדי לפתור משימה נתונה, אך מתפקדים בערך באותה רמה. המחקר מראה כי על ידי בחירה בסוגים אחרים של דגמים או על ידי התאמת דגמים, ניתן להשיג חיסכון באנרגיה של 70-80% בשלב ההדרכה והפריסה, עם ירידה של 1% בלבד או פחות בביצועים. ולפי החוקרים מדובר בהערכה שמרנית.
שווה ל-46 שנים של צריכת אנרגיה של דני
חוקרי UCPH העריכו כמה אנרגיה נדרשת לאימון 429,000 מתת-סוגי הבינה המלאכותית הידועים כרשתות עצביות קונבולוציוניות במערך הנתונים הזה. אלו משמשים בין היתר לזיהוי אובייקטים, תרגום שפה וניתוח תמונות רפואיות.
ההערכה היא שההכשרה לבדה של 429,000 רשתות עצבים שהמחקר בדק ידרוש 263,000 קילוואט-שעה. זה שווה לכמות האנרגיה שאזרח דני ממוצע צורך במשך 46 שנים. וזה ייקח למחשב אחד בערך 100 שנה לבצע את ההכשרה. המחברים בעבודה זו לא באמת אימנו את המודלים הללו בעצמם, אלא העריכו אותם באמצעות מודל AI אחר, וכך חסכו 99% מהאנרגיה שהוא היה לוקח.
"שקול את התוצאות שלנו כספר מתכונים למקצועני בינה מלאכותית. המתכונים לא רק מתארים את הביצועים של אלגוריתמים שונים, אלא כמה הם יעילים באנרגיה. ושעל ידי החלפת מרכיב אחד עם מרכיב אחר בעיצוב של דגם, אפשר לעתים קרובות להגיע לאותה תוצאה. אז עכשיו, המתרגלים יכולים לבחור את הדגם שהם רוצים בהתבסס על ביצועים וצריכת אנרגיה, וללא צורך לאמן כל דגם קודם", אומר פדרם בחטיאריפארד, שממשיך:
"לעיתים קרובות, מודלים רבים עוברים הכשרה לפני שמוצאים את האחד שנחשד כמתאים ביותר לפתרון משימה מסוימת. זה הופך את הפיתוח של בינה מלאכותית ליצרנית ביותר באנרגיה. לכן, יהיה ידידותי יותר לאקלים לבחור את הדגם הנכון מלכתחילה, תוך בחירה בדגם שאינו צורך יותר מדי חשמל בשלב ההכשרה”.
החוקרים מדגישים שבתחומים מסוימים, כמו מכוניות בנהיגה עצמית או תחומים מסוימים ברפואה, דיוק הדגם יכול להיות קריטי לבטיחות. כאן, חשוב לא להתפשר על ביצועים. עם זאת, זה לא אמור להרתיע לחתור ליעילות אנרגטית גבוהה בתחומים אחרים.
"ל-AI יש פוטנציאל מדהים. אבל אם אנחנו רוצים להבטיח פיתוח AI בר-קיימא ואחראי, אנחנו צריכים גישה הוליסטית יותר, שלא רק מתחשבת בביצועי המודל, אלא גם בהשפעת האקלים. כאן, אנו מראים שאפשר למצוא פשרה טובה יותר. כאשר מודלים של בינה מלאכותית מפותחים עבור משימות שונות, יעילות אנרגטית צריכה להיות קריטריון קבוע – בדיוק כפי שהוא סטנדרטי בתעשיות רבות אחרות", מסכם Raghavendra Selvan.
"ספר המתכונים" המורכב בעבודה זו זמין כמערך נתונים של קוד פתוח עבור חוקרים אחרים להתנסות בו. המידע על כל 423,000 הארכיטקטורות הללו מתפרסם ב-Github שאליו יכולים מתרגלי AI לגשת באמצעות סקריפטים פשוטים של Python.
המאמר המדעי על המחקר יוצג בכנס הבינלאומי לאקוסטיקה, דיבור ועיבוד אותות (ICASSP-2024).
מחברי המאמר הם Pedram Bakhtiarifard, Christian Igel ו- Raghavendra Selvan מהמחלקה למדעי המחשב של אוניברסיטת קופנהגן.
