טכניקת אופטימיזציה חדשה משפרת את המהירות והדיוק של הסקת מסקנות בייסיאנית, מייעלת את המחקר המדעי על ידי אוטומציה של חישובים מורכבים והצעת אומדני אי ודאות אמינים. קרדיט: twoday.co.il.com
טכניקה קלה לשימוש יכולה לסייע לכולם, מכלכלנים ועד מנתחי ספורט.
לסקרים המנסים לחזות את תוצאות הבחירות לנשיאות ולפיזיקאים המחפשים אחר כוכבי לכת רחוקים יש לפחות דבר אחד במשותף: לעתים קרובות הם משתמשים בטכניקה מדעית בדוקה שנקראת מסקנות בייסיאניות.
מסקנות בייסיאניות מאפשרות למדענים הללו להעריך ביעילות פרמטר לא ידוע כלשהו – כמו המנצח בבחירות – מנתונים כמו תוצאות סקרים. אבל מסקנות בייסיאניות יכולות להיות איטיות, לפעמים לצרוך שבועות או אפילו חודשים של זמן חישוב או לדרוש מחוקר להשקיע שעות בגזירת משוואות מייגעות ביד.
חוקרים מ MIT ובמקומות אחרים הציגו טכניקת אופטימיזציה שמזרזת דברים מבלי לדרוש ממדען לעשות הרבה עבודה נוספת. השיטה שלהם יכולה להשיג תוצאות מדויקות יותר מהר יותר מגישה פופולרית אחרת להאצת מסקנות בייסיאניות.
באמצעות הטכניקה האוטומטית החדשה הזו, מדען יכול פשוט להזין את המודל שלו ואז שיטת האופטימיזציה עושה את כל החישובים מתחת למכסה המנוע כדי לספק קירוב של פרמטר לא ידוע כלשהו. השיטה מציעה גם אומדני אי ודאות אמינים שיכולים לעזור לחוקר להבין מתי לסמוך על התחזיות שלו.
ניתן ליישם טכניקה רב-תכליתית זו על מגוון רחב של התלבטויות מדעיות המשלבות הסקה בייסיאנית. לדוגמה, זה יכול לשמש כלכלנים החוקרים את ההשפעה של הלוואות מיקרו אשראי במדינות מתפתחות או אנליסטים של ספורט המשתמשים במודל לדירוג שחקני טניס מובילים.
"כשאתה באמת חופר במה שאנשים עושים במדעי החברה, הפיזיקה, הכימיה או הביולוגיה, לעתים קרובות הם משתמשים בהרבה מאותם כלים מתחת למכסה המנוע. יש כל כך הרבה ניתוחים בייסיאניים בחוץ. אם נוכל לבנות כלי נהדר באמת שיקל על החיים של החוקרים הללו, אז נוכל באמת לעשות שינוי להרבה אנשים בתחומי מחקר רבים ושונים", אומרת הסופרת הבכירה תמרה ברודריק, פרופסור חבר במחלקה להנדסת חשמל ב-MIT. מדעי המחשב (EECS) וחבר במעבדה למערכות מידע והחלטות ובמכון לנתונים, מערכות וחברה.
לברודריק מצטרפים במאמר המחברים המובילים ראיין ג'ורדנו, עוזר פרופסור לסטטיסטיקה באוניברסיטת קליפורניה בברקלי; ומרטין אינגרם, מדען נתונים בחברת AI KONUX. העיתון פורסם לאחרונה ב- כתב עת לחקר למידת מכונה.
תוצאות מהירות יותר
כאשר חוקרים מחפשים צורה מהירה יותר של מסקנות בייסיאניות, הם פונים לרוב לטכניקה הנקראת מסקנות שונות של הבחנה אוטומטית (ADVI), שלעתים קרובות היא גם מהירה להפעלה וגם קלה לשימוש.
אבל ברודריק ומשתפי הפעולה שלה מצאו מספר בעיות מעשיות עם ADVI. זה צריך לפתור בעיית אופטימיזציה והוא יכול לעשות זאת רק בקירוב. לכן, ADVI עדיין יכול לדרוש הרבה זמן חישוב ומאמץ של המשתמש כדי לקבוע אם הפתרון המשוער מספיק טוב. וברגע שהוא מגיע לפתרון, הוא נוטה לספק אומדני אי ודאות גרועים.
במקום להמציא מחדש את הגלגל, הצוות לקח רעיונות רבים מ-ADVI אך הפך אותם כדי ליצור טכניקה שנקראת ADVI דטרמיניסטית (DADVI) שאין לה את החסרונות הללו.
עם DADVI, ברור מאוד מתי האופטימיזציה מסתיימת, כך שמשתמש לא יצטרך להשקיע זמן חישוב נוסף כדי להבטיח שהפתרון הטוב ביותר נמצא. DADVI מאפשר גם שילוב של שיטות אופטימיזציה חזקות יותר המעניקות לו מהירות ושיפור ביצועים נוספים.
ברגע שהוא מגיע לתוצאה, DADVI מוגדר כדי לאפשר שימוש בתיקוני אי ודאות. תיקונים אלו הופכים את הערכות אי הוודאות שלו למדוייקות הרבה יותר מאלו של ADVI.
DADVI גם מאפשר למשתמש לראות בבירור כמה שגיאות הוא עשה בקירוב לבעיית האופטימיזציה. זה מונע ממשתמש להריץ ללא צורך את האופטימיזציה שוב ושוב עם עוד ועוד משאבים כדי לנסות ולהפחית את השגיאה.
"רצינו לראות אם נוכל לעמוד בהבטחה של הסקת הקופסה השחורה במובן של, ברגע שהמשתמש מייצר את המודל שלו, הם יכולים פשוט להריץ הסקה בייסיאנית ולא צריכים להסיק הכל ביד, הם עושים זאת" הם לא צריכים להבין מתי להפסיק את האלגוריתם שלהם, ויש להם תחושה עד כמה הפתרון המשוער שלהם מדויק", אומר ברודריק.
מתריס על החוכמה הקונבנציונלית
DADVI יכול להיות יעיל יותר מ-ADVI מכיוון שהוא משתמש בשיטת קירוב יעילה, הנקראת קירוב ממוצע מדגם, אשר מעריכה כמות לא ידועה על ידי נקיטת סדרה של שלבים מדויקים.
מכיוון שהצעדים בדרך מדויקים, ברור מתי המטרה הושגה. בנוסף, הגעה ליעד זה דורשת בדרך כלל פחות צעדים.
לעתים קרובות, חוקרים מצפים שהקירוב הממוצע של המדגם יהיה אינטנסיבי יותר מבחינה חישובית מאשר שיטה פופולרית יותר, המכונה גרדיאנט סטוכסטי, המשמשת את ADVI. אבל ברודריק ומשתפי הפעולה שלה הראו שבאפליקציות רבות זה לא המקרה.
"להרבה בעיות באמת יש מבנה מיוחד, ואתה יכול להיות הרבה יותר יעיל ולקבל ביצועים טובים יותר על ידי ניצול המבנה המיוחד הזה. זה משהו שבאמת ראינו בעיתון הזה", היא מוסיפה.
הם בדקו את DADVI על מספר מודלים ומערכים בעולם האמיתי, כולל מודל המשמש כלכלנים להערכת היעילות של הלוואות מיקרו אשראי ואחד המשמש באקולוגיה כדי לקבוע אם מִין קיים באתר מסוים.
הם גילו ש-DADVI יכול להעריך פרמטרים לא ידועים מהר יותר ואמינות יותר משיטות אחרות, ומשיג טוב או טוב יותר דיוק מאשר ADVI. מכיוון שהוא קל יותר לשימוש מטכניקות אחרות, DADVI יכול להציע דחיפה למדענים במגוון רחב של תחומים.
בעתיד, החוקרים רוצים להעמיק בשיטות תיקון להערכות אי ודאות כדי שיוכלו להבין טוב יותר מדוע תיקונים אלו יכולים לייצר אי ודאות כה מדויקת, ומתי הם עלולים ליפול.
"בסטטיסטיקה יישומית, לעתים קרובות עלינו להשתמש באלגוריתמים משוערים לבעיות מורכבות או גבוהות מדי כדי לאפשר לחשב פתרונות מדויקים בזמן סביר. מאמר חדש זה מציע קבוצה מעניינת של תיאוריות ותוצאות אמפיריות המצביעות על שיפור באלגוריתם משוער קיים פופולרי להסקת בייסיאנית", אומר אנדרו גלמן 85', 86', פרופסור לסטטיסטיקה ולמדעי המדינה ב- אוניברסיטת קולומביה, שלא היה מעורב במחקר. "בתור אחד מהצוות המעורב ביצירת העבודה הקודמת הזו, אני שמח לראות שהאלגוריתם שלנו מוחלף במשהו יציב יותר."
מחקר זה נתמך על ידי קרן הלאומית למדע CAREER Award והמשרד האמריקאי לחקר הצי.
