אנשים שמבקשים הלוואה מבנק או מחברת כרטיסי אשראי, ונדחים, חייבים הסבר מדוע זה קרה. זה רעיון טוב - כי זה יכול לעזור ללמד אנשים כיצד לתקן את האשראי שלהם שנפגע - וזה חוק פדרלי, ה- חוק שוויון הזדמנויות אשראי. תשובה לא הייתה בעיה גדולה בשנים עברו, כאשר בני האדם קיבלו את ההחלטות הללו. אך כיום, ככל שמערכות בינה מלאכותית מסייעות יותר ויותר אנשים המחליטים אשראי, קבלת ההסברים הללו נעשתה קשה הרבה יותר.

באופן מסורתי, קצין הלוואות שדחה בקשה יכול היה לומר ללווה בעתיד שיש בעיה ברמת ההכנסה שלהם או בהיסטוריה התעסוקתית שלהם, או יהיה הנושא אשר יהיה. אך מערכות ממוחשבות המשתמשות במורכבות למידת מכונה קשה להסביר מודלים, אפילו לא למומחים.

החלטות אשראי צרכני הן רק דרך אחת לבעיה זו. חששות דומים להתקיים ב בריאות, שיווק באינטרנט וגם משפט פלילי. העניין שלי בתחום זה התחיל כשגילתה קבוצת מחקר שהייתי חלק ממנה הטיה מגדרית במיקוד המודעות המקוונות, אך לא יכול היה להסביר מדוע זה קרה.

לכל אותם תעשיות ורבים אחרים המשתמשים בלמידת מכונה לניתוח תהליכים וקבלת החלטות יש קצת יותר משנה כדי להשתפר בהרבה בהסבר כיצד מערכותיהם פועלות. במאי 2018, החדש התקנה הכללית להגנת נתונים של האיחוד האירופי נכנס לתוקף, כולל סעיף המעניק לאנשים זכות לקבל הסבר להחלטות אוטומטיות המשפיעות על חייהם. איזו צורה צריכים לקבל הסברים אלה, והאם אנו יכולים לספק אותם?

זיהוי סיבות מרכזיות

אחת הדרכים לתאר מדוע החלטה אוטומטית יצאה כפי שהיא יצאה היא לזהות את הגורמים שהיו המשפיעים ביותר על ההחלטה. כמה מההחלטה על סירוב אשראי נבעה מכך שהמבקש לא עשה מספיק כסף, או בגלל שלא הצליח להחזיר הלוואות בעבר?

קבוצת המחקר שלי באוניברסיטת קרנגי מלון, כולל סטודנט לתואר דוקטור שייאק סן והפוסט-דוקטור דאז יאיר זיק יצרו דרך למדוד את ההשפעה היחסית של כל גורם. אנו קוראים לזה השפעת הקלט הכמותית.

בנוסף למתן הבנה טובה יותר של החלטה אינדיבידואלית, המדידה יכולה גם לשפוך אור על קבוצת החלטות: האם אלגוריתם שלל אשראי בעיקר בגלל חששות כספיים, כמו למשל כמה המבקש כבר חייב על חובות אחרים? או שמא מיקוד המבקש היה חשוב יותר - מה שמרמז על דמוגרפיה בסיסית יותר כמו גזע אולי הייתה נכנסת לפעולה?

לכידת סיבתיות

כאשר מערכת מקבלת החלטות על סמך מספר גורמים חשוב לזהות אילו גורמים גורמים להחלטות ותרומתם היחסית.

לדוגמא, דמיין מערכת החלטת אשראי שלוקחת שתי תשומות בלבד, יחס החוב להכנסה של המבקש והגזע שלה, והוכח שהיא מאשרת הלוואות רק לקווקזים. הידיעה כמה כל גורם תורם להחלטה יכולה לעזור לנו להבין האם מדובר במערכת לגיטימית או שמא היא מפלה.

הסבר יכול היה רק ​​להסתכל על התשומות והתוצאות ולבחון מתאם - שאינם קווקזים לא קיבלו הלוואות. אבל ההסבר הזה פשטני מדי. נניח שללא הקווקזים שנדחו הלוואות היו גם הכנסות נמוכות בהרבה מהקווקזים שהבקשות שלהם צלחו. אז הסבר זה אינו יכול לומר לנו אם מירוץ המבקשים או יחס החוב להכנסה גרמו לשלילה.

השיטה שלנו יכולה לספק מידע זה. אמירת ההבדל פירושה שנוכל להקניט אם המערכת מפלה שלא בצדק או בוחנת קריטריונים לגיטימיים, כמו כספי המועמדים.

כדי למדוד את השפעת הגזע בהחלטת אשראי ספציפית, אנו מבצעים מחדש את תהליך הגשת הבקשה, תוך שמירה על יחס החוב להכנסה, אך שינוי במירוץ של המבקש. אם שינוי המירוץ אכן משפיע על התוצאה, אנו יודעים שגזע הוא גורם מכריע. אם לא, אנו יכולים להסיק שהאלגוריתם מסתכל רק במידע הכספי.

בנוסף לזיהוי גורמים שהם גורמים, אנו יכולים למדוד את השפעתם הסיבתית היחסית על החלטה. אנו עושים זאת על ידי שינוי אקראי של הגורם (למשל גזע) ומדידת הסבירות שהתוצאה תשתנה. ככל שהסבירות גבוהה יותר, כך השפעתו של הגורם גדולה יותר.

השפעה מצטברת

השיטה שלנו יכולה לשלב גם מספר גורמים העובדים יחד. שקול מערכת החלטות שמעניקה אשראי למועמדים העומדים בשניים מתוך שלושה קריטריונים: ציון אשראי מעל 600, בעלות על רכב והאם המבקש החזיר הלוואת דירה במלואה. נניח שמבקשת, אליס, עם ציון אשראי של 730 וללא רכב או הלוואת דירה, מסורבת אשראי. היא תוהה האם מעמד הבעלות שלה ברכב או היסטוריית החזר הלוואת הבית היא הסיבה העיקרית.

אנלוגיה יכולה לעזור בהסבר כיצד אנו מנתחים מצב זה. שקול בית משפט בו ההחלטות מתקבלות ברוב ההצבעה של הרכב של שלושה שופטים, כאשר אחד הוא שמרן, אחד ליברלי והשלישי הוא הצבעה מתנדנדת, מישהו שעשוי לצדד עם אחד מעמיתיה. בהחלטה שמרנית 2-1, לשופט התנופה הייתה השפעה רבה יותר על התוצאה מאשר לשופט הליברלי.

הגורמים בדוגמת האשראי שלנו הם כמו שלושת השופטים. השופט הראשון נוהג להצביע בעד ההלוואה מכיוון שרבים מהמועמדים הם בעלי ציון אשראי מספיק גבוה. השופט השני כמעט תמיד מצביע נגד ההלוואה מכיוון שמעט מאוד מועמדים אי פעם שילמו בית. אז ההחלטה מגיעה לשופט התנופה, שבמקרה של אליס דוחה את ההלוואה מכיוון שהיא לא מחזיקה רכב.

אנו יכולים לעשות חשיבה זו במדויק באמצעות תורת המשחקים השיתופיים, מערכת לניתוח באופן ספציפי יותר כיצד גורמים שונים תורמים לתוצאה אחת. בפרט, אנו משלבים את המדידות שלנו של השפעה סיבתית יחסית עם ה- ערך שאפלי, שהיא דרך לחשב כיצד לייחס השפעה למספר גורמים. יחד אלה יוצרים את מדידת ההשפעה הכמותית שלנו.

עד כה הערכנו את השיטות שלנו על מערכות החלטות שיצרנו על ידי הכשרת אלגוריתמים נפוצים של למידת מכונה עם מערכי נתונים אמיתיים. הערכת אלגוריתמים בעבודה בעולם האמיתי היא נושא לעבודה עתידית.

אתגר גלוי

שיטת הניתוח וההסבר שלנו כיצד אלגוריתמים מקבלים החלטות שימושית ביותר בהגדרות בהן הגורמים מובנים בקלות על ידי בני אדם - כגון יחס חוב להכנסה וקריטריונים פיננסיים אחרים.

עם זאת, הסבר על תהליך קבלת ההחלטות של אלגוריתמים מורכבים יותר נותר אתגר משמעותי. קח, למשל, מערכת לזיהוי תמונות, כמו כאלה ש לזהות ולעקוב אחר גידולים. לא מאוד שימושי להסביר את הערכת תמונה מסוימת על סמך פיקסלים בודדים. באופן אידיאלי, אנו רוצים הסבר המספק תובנה נוספת להחלטה - כגון זיהוי מאפייני ספציפיים של הגידול בתמונה. ואכן, תכנון הסברים למשימות קבלת החלטות אוטומטיות כאלה שומר על חוקרים רבים עסוק.

על המחבר

אנופם דאטה, פרופסור חבר למדעי המחשב והנדסת חשמל ומחשבים, אוניברסיטת קרנגי מלון

מאמר זה פורסם במקור ב שיחה. קרא את מאמר מקורי.

ספרים קשורים

at InnerSelf Market ואמזון