כלכלני MIT ניתחו את "קללת המנצח" בתכניות הכשרה לעבודה ושוברים לדיור, והציגו כלים אנליטיים לשיפור דיוק הערכת המדיניות. עבודתם מדגישה את המורכבות של שכפול ההצלחות הראשוניות ומדגישה את החשיבות של ראיות מוצקות בקבלת החלטות. קרדיט: twoday.co.il.com
כאשר התערבויות או מדיניות מתפקדות היטב במחקרים, הן עלולות לאכזב בהמשך. א MIT הכלים של הכלכלן יכולים לעזור למתכננים לזהות את המלכודת הזו.
עוד בשנות ה-80, חוקרים בדקו תוכנית הכשרת עבודה בשם JOBSTART ב-13 ערים בארה"ב. ב-12 מקומות הייתה לתוכנית תועלת מינימלית. אבל בסן חוזה, קליפורניה, התוצאות היו טובות: לאחר כמה שנים, העובדים הרוויחו כ-6,500 דולר יותר מדי שנה מאשר עמיתים שלא משתתפים בו. אז, בשנות ה-90, חוקרי משרד העבודה האמריקאי יישמו את התוכנית בעוד 12 ערים. עם זאת, התוצאות לא שוחזרו. המספרים הראשוניים של סן חוזה נותרו חריגים.
הבנת קללת המנצח
תרחיש זה יכול להיות תוצאה של משהו שחוקרים מכנים "קללת המנצח". כאשר תוכניות או מדיניות או רעיונות נבדקים, אפילו בניסויים אקראיים קפדניים, דברים שמתפקדים היטב פעם אחת עשויים להופיע גרוע יותר בפעם הבאה. (המונח "קללת המנצח" מתייחס גם להצעות מחיר זוכות גבוהות במכירה פומבית, עניין שונה, אך קשור.)
קללת המנצח הזו מציבה בעיה עבור פקידי ציבור, מנהיגי חברות במגזר הפרטי, ואפילו מדענים: בבחירת משהו שנבדק היטב, ייתכן שהם קונים לדעיכה. מה שעולה לרוב ירד.
כלכלן MIT, Isaiah Andrews, עם עמיתיו, פיתח כלים שיכולים לעזור לקובעי מדיניות, אנשי עסקים ואפילו מדענים להימנע מ"קללת המנצח" בעבודתם – הדפוס שבו אנשים בוחרים תוכניות שנבדקות טוב בהתחלה, אך צפויים להצליח יותר. עם החזרה. קרדיט: כריסטין דנילוף, MIT; Shutterstock
"במקרים שבהם לאנשים יש אפשרויות מרובות, הם בוחרים את האחת שהם חושבים שהיא הטובה ביותר, לעתים קרובות על סמך תוצאות של ניסוי אקראי", אומר כלכלן MIT Isaiah Andrews. "מה שתגלו הוא שאם תנסו את התוכנית הזו שוב, היא נוטה להיות מאכזבת ביחס להערכה הראשונית שהובילה אנשים לבחור בה".
אנדרוז הוא מחבר שותף של מחקר שפורסם לאחרונה, שבוחן את התופעה ומספק כלים חדשים לחקור אותה, שיכולים גם לעזור לאנשים להימנע ממנה.
העיתון, "מסק על זוכים", מופיע בגיליון פברואר של ה- כתב עת רבעוני לכלכלה. המחברים הם אנדרוז, פרופסור במחלקה לכלכלה של MIT ומומחה לאקונומטריה, השיטות הסטטיסטיות של התחום; טורו קיטאגווה, פרופסור לכלכלה באוניברסיטת בראון; ואדם מקלוסקי, פרופסור חבר לכלכלה באוניברסיטת קולורדו.
הבדלים מבדילים
סוג הקללת הזוכה אליו מתייחסים במחקר זה מתוארך לכמה עשורים כמושג מדעי החברה, ועולה גם במדעי הטבע: כפי שמציינים החוקרים במאמר, קללת המנצח נצפתה במחקרי אסוציאציות רחבי גנום, המנסים לקשר בין גנים לתכונות.
כאשר ממצאים בולטים לכאורה אינם מצליחים להחזיק מעמד, עשויות להיות לכך סיבות שונות. לפעמים ניסויים או תוכניות לא כולם מופעלים באותו אופן כאשר אנשים מנסים לשכפל אותם. בזמנים אחרים, שונות אקראית כשלעצמה יכולה ליצור מצב מסוג זה.
"תאר לעצמך עולם שבו כל התוכניות האלה יעילות בדיוק באותה מידה", אומר אנדרוז. "ובכן, במקרה, אחד מהם הולך להיראות טוב יותר, ואתה נוטה לבחור את זה. המשמעות היא שהערכת יתר על המידה כמה זה יעיל, ביחס לאפשרויות האחרות". ניתוח הנתונים היטב יכול לעזור להבחין אם התוצאה החריגה נבעה מהבדלים אמיתיים ביעילות או מתנודה אקראית.
כדי להבחין בין שתי האפשרויות הללו, אנדרוז, קיטאגווה ומקלסקי פיתחו שיטות חדשות לניתוח תוצאות. בפרט, הם הציעו אומדנים חדשים – אמצעי להקרנת תוצאות – שהם "חציוניים ללא משוא פנים". כלומר, באותה מידה הם צפויים להפריז ולהמעיט ביעילות, אפילו בהגדרות עם קללת מנצח. השיטות גם מייצרות רווחי סמך המסייעים לכמת את אי הוודאות של אומדנים אלה. בנוסף, החוקרים מציעים גישות מסקנות "היברידיות", המשלבות שיטות מרובות של שקילת נתוני מחקר, וכפי שהם מראים, לעתים קרובות מניבות תוצאות מדויקות יותר משיטות חלופיות.
בעזרת השיטות החדשות הללו, אנדרוז, קיטאגווה ומקלסקי קובעים גבולות מוצקים יותר על השימוש בנתונים מניסויים – כולל רווחי סמך, הערכות חציוניות בלתי מוטות ועוד. וכדי לבדוק את כדאיות השיטה שלהם, החוקרים יישמו אותה על מקרים מרובים של מחקר מדעי החברה, החל בניסוי JOBSTART.
באופן מסקרן, מבין הדרכים השונות שבהן תוצאות ניסוי יכולות להפוך לחריגות, החוקרים גילו שתוצאת סן חוזה מ-JOBSTART הייתה כנראה לא רק תוצאה של מקרה אקראי. התוצאות מספיק שונות כדי שייתכן שהיו הבדלים באופן ניהול התוכנית, או בהגדרה שלה, בהשוואה לתוכניות האחרות.
מבחן סיאטל
כדי להמשיך ולבחון את שיטת ההסקה ההיברידית, אנדרוז, קיטאגווה ומקלסקי יישמו אותה על סוגיית מחקר אחרת: תוכניות המספקות שוברי דיור כדי לעזור לאנשים לעבור לשכונות שבהן לתושבים יש ניידות כלכלית גדולה יותר.
מחקרים כלכליים ארציים הראו שתחומים מסוימים מייצרים ניידות כלכלית גדולה יותר מאחרים, כשהכל שווה. בעקבות הממצאים הללו, חוקרים אחרים שיתפו פעולה עם גורמים רשמיים במחוז קינג, וושינגטון, כדי לפתח תוכנית שתסייע למקבלי השוברים לעבור לאזורים בעלי הזדמנויות גבוהות יותר. עם זאת, תחזיות לביצוע תוכניות כאלה עשויות להיות רגישות לקללת הזוכה, מכיוון שרמת ההזדמנויות בכל שכונה מוערכת בצורה לא מושלמת.
אנדרוז, קיטאגווה ומקלסקי יישמו אפוא את שיטת ההסקה ההיברידית על בדיקת הנתונים ברמת השכונה, ב-50 "אזורי נסיעה" (בעיקר, אזורי מטרו) ברחבי ארה"ב השיטה ההיברידית שוב עזרה להם להבין עד כמה ההערכות הקודמות היו בטוחות. .
הערכות פשוטות בסביבה זו העלו כי עבור ילדים הגדלים במשקי בית באחוזון ה-25 של ההכנסה השנתית בארה"ב, תוכניות להעברת דיור ייצרו עלייה של 12.25 נקודות אחוז בהכנסה למבוגרים. שיטת ההסקה ההיברידית מציעה שבמקום זאת תהיה עלייה של 10.27 נקודות אחוז – נמוך יותר, אך עדיין השפעה מהותית.
ואכן, כפי שכותבים המחברים במאמר, "אפילו הערכה קטנה יותר זו היא גדולה מבחינה כלכלית", ו"אנו מסיקים כי מיקוד למסלולים המבוססים על הזדמנות משוערת מצליח לבחור מסלולים בעלי הזדמנויות גבוהות יותר בממוצע". יחד עם זאת, החוקרים ראו שהשיטה שלהם כן עושה את ההבדל.
בסך הכל, אומר אנדרוז, "הדרכים שבהן אנו מודדים אי ודאות עלולות להפוך לעצמן ללא אמינות". הבעיה הזו מורכבת, הוא מציין, "כשהנתונים מספרים לנו מעט מאוד, אבל אנחנו בטעות בטוחים מדי וחושבים שהנתונים אומרים לנו הרבה. … באופן אידיאלי היית רוצה משהו שהוא גם אמין וגם אומר לנו כמה שיותר."
תמיכה למחקר ניתנה, בחלקה, על ידי הקרן הלאומית למדע בארה"ב, המועצה למחקר כלכלי וחברתי של בריטניה ומועצת המחקר האירופית.
