אלגוריתמים ובינה מלאכותית בשירותי הרווחה: מקרה הבוחן של הגנת ילדים
מחבר אורח: עמית חיים*
בשנים האחרונות, החלו רשויות מדינתיות ברחבי העולם בשימוש ניסיוני באלגוריתמים לתמיכה בקבלת החלטות. שימושים אלה מכוונים לרוב לייעול ההליכים הבירוקרטיים, כפי שבא לידי ביטוי למשל בקיצור זמני המתנה או בדיגיטציה המייתרת את הצורך במגע עם פקיד בשר ודם; או לשיפור דיוק ואחידות בין מקבלי החלטות. בחינה שנעשתה לאחרונה, מצאה כי כמחצית מהרשויות הפדראליות שנבדקו בארה”ב משתמשות או מתנסות באלגוריתמים של בינה מלאכותית (AI) או למידת מכונה (ML) לצורכי עבודתן.
תחום חשוב במיוחד בהקשר זה הוא מדינת הרווחה (Welfare State), אגד רחב של שירותים חברתיים, ביניהם חלוקת משאבים (resource allocation; כגון מתן קצבאות, תלושי מזון וכו’), אספקת שירותים, ואכיפה. זו מתאפיינת לעיתים רבות בחוסר יעילות וסבך בירוקרטי, ועובדיה מתמודדים עם עומס ומחסור כרוני במשאבים. יתרה מכך, חלק הארי של שירותי הרווחה מיושמים באופן מבוזר, כך שלעובדי הרווחה נודעת השפעה רבה על המדיניות בסופו של יום.[i] על כן, רשויות רבות מעוניינות לפתור את הבעיות ביישום לא אחיד של מדיניות הרווחה, בין היתר באמצעים טכנולוגיים. ניתן למצוא דוגמאות לכך בשירותי רווחה שונים, החל מזיהוי הונאות רווחה (welfare fraud), עבור בדיגיטציה ואוטומציה של חלוקת קצבאות או הטבות ממשלתיות, וכלה בזיהוי מוקדם של פרטים בסיכון גבוה לעוני שאינם ממצים את זכויותיהם הסוציאליות.
מקרה בוחן ייחודי הוא זה של מערכות לקבלת החלטות מבוססות אלגוריתמים בתחום הגנת ילדים (child protection). מערכות כאלו מיושמות לזיהוי ואיתור ילדים שהינם בסיכון ניכר להזנחה או לפגיעה לצורך נקיטת התערבות מוקדמת (הוצאה מהבית והשמה במסגרות חלופיות, כגון משפחות אומנה) . רשויות הרווחה מתבססות על דיווח מצד גורמים שונים בקהילה, כגון מורים, שוטרים, נותני שירות רפואי, וגורמים אחרים בסביבת הילד. מטבע הדברים, דיווחים אלה המגיעים לקו חם, משתנים ברמת האמינות והסיכון הנשקף מהם. אחד האתגרים המרכזים של הרשויות הוא הערכה מדויקת ככל הניתן של רמת הסיכון הנשקפת לילד, כך שמקרים בסיכון גבוה יתועדפו על פני מקרים בסיכון נמוך.
ניתן להדגים את הצורך בתיעדוף שכזה, באמצעות המקרה של גבריאל פרננדז (שסיפורו הובא בהרחבה בסדרת טלוויזיה), ילד שהלך לעולמו בלוס אנג’לס בשנת 2013 לאחר התעללות מתמשכת מצד אמו ובן זוגה. על אף שבידי הרשות המקומית היה מצוי לאורך זמן מידע על התנהגות חשודה מצד האם, דיווחים על פגיעות גופניות, וסימנים המעידים על חשש להזנחה ואף להתעללות. כפי שמדגים מקרה קיצון זה, גם כשקיים מידע מטריד בידי הרשות, לעיתים אין די בכך כדי למנוע תוצאה טראגית. העומס, חוסר תשומת לב נקודתית, חסמים בירוקרטיים ובעיות אחרות, עלולים להביא לכך שמקרים ייפלו בין הכיסאות.
מנגד, גם התערבות וחקירת-יתר מצד רשויות הרווחה הן בעלות השלכות שליליות. החיכוך והסטיגמה הכרוכים במעורבות שירותי הרווחה, כמו גם הפרעה ממשית לשגרה היומיומית של משפחות והטלת ספק ביכולות הוריות וקהילתיות, הינם בעייתיים ומפלים לרעה בייחוד כשהדבר בא לידי ביטוי בעיקר בקרב משפחות ממעמד סוציו-אקונומי נמוך ומיעוטים אתניים.
כאמור, שירותי רווחה ורשויות מנהליות תרים אחר אמצעים לשיפור עבודתם, ובוחנים דרכים לפתרון בעיות באמצעות פיתוחים טכנולוגיים מתקדמים מבוססי AI. חלק מהיישומים מתמקדים כאמור בזיהוי מוקדם של ילדים בסיכון גבוה, אחרים בתיעדוף פנימי לטיפול לפי רמות סיכון, ובמקרים אחרים היישום נוגע להמלצה על דרך הטיפול המיטבית (למשל, הגדלת התמיכה למשפחה או הוצאה מהבית).
כך למשל, בעיר פיטסבורג (שבמחוז Allegheny במדינת פנסילבניה) אימצו בשנת 2016 גישה חדשנית להערכת הסיכון הנשקפת לילדים. בשיתוף עם מרכז אקדמי, החליטה הרשות המקומית לנסות להשתמש באלגוריתם ML לצורך ביצוע הערכת מסוכנות אוטומטית לשיחות ופניות בקו החם שבהן מדווחים על ילדים שקיים חשש לרווחתם.
בהסתמך על נתונים מנהליים (administrative data) שבחזקת הרשות, במערכת הרווחה, ובמערכות ציבוריות נוספות (כגון רישומים פליליים), האלגוריתם (Allegheny Family Screening Tool) מעריך את ההסתברות כי ילד מסוים – לגביו דווח כי על חשש להזנחה או התעללות – אכן נמצא בסיכון. המערכת מספקת לעובד שאחראי על סינון וניתוב ציון המשקף את רמת הסיכון הספציפית (יודגש, כי ההערכה אינה תלויה בדיווח הנוכחי, אלא בכלל המידע שנאסף על הילד ומשפחתו בעבר). העובד, מחליט אם יש צורך בצעדים נוספים (בירור עובדות טלפוני או ביקור בית) על ידי צוותי הרשות, או לחילופין שהפניה אינה מעוררת חשש ממשי וניתן להתעלם ממנה.
הרשות בפיטסבורג ניהלה תהליך ארוך של היוועצות והסברים לקהילה, בין היתר עם ארגוני חברה אזרחית העוסקים בזכויות ילדים, הורים, וקהילות מוחלשות, ושמה לה למטרה להפגין שקיפות מרבית לגבי התהליך והאלגוריתם. כחלק מתהליך זה, התעורר החשש – בין היתר מצד עובדי הרשות עצמה – כי האלגוריתם ייתר את שיקול הדעת האנושי ויחליף אותו בפעולה אוטומטית ומכאנית. חשש ספציפי זה מתקשר לנושא רחב יותר הנוגע לשימור שיקול הדעת האנושי, ולחשש האנושי כי אלגוריתמים יחליפו למעשה, דֶה יורה או דֶה פקטו, את העובד האנושי. מעבר לשאלה אם בכלל מותר לרשות מדינתית להאציל את סמכותה לאלגוריתם ובאילו תנאים.[ii] גם במצבים שבהם האלגוריתם הוא כלי עזר בלבד, עלולים העובדים להעביר בפועל את שיקול הדעת לכלי הממוחשב ולהתפרק על-ידי כך מסמכותם. למעשה, מחקר שבחן את השימוש באלגוריתם בפיטסבורג, מצא כי שימור שיקול הדעת האנושי (human-in-the-loop) היטיב עם התוצאות, במיוחד כאשר התגלתה שגיאה טכנית במערכת שהובילה לכך שבמשך מספר חודשים הוצגו הערכות סיכון שגויות לעובדים. העובדים שבחנו את הפניות לא הלכו שֶבי אחרי המלצות הכלי, מה שמעיד על כך שהם היו מסוגלים לשמר שיקול דעת עצמאי ולזהות מקרים בסיכון גבוה אף אם האלגוריתם לא הציף זאת. ממצאים אלה מפחיתים במידת מה את החשש הרווח מהטיית אוטומציה (automation bias) – הנטייה לייחס אמינות גבוהה ביותר לתוצרי מערכת אוטומטית – ומחזקים את ההשערה כי שימור שיקול הדעת חשוב לא רק למטרות אמון ולגיטימציה ציבורית, אלא גם לשיפור התוצאות הסופיות.
לצד זאת, התעורר בפיטסבורג חשש מסוג שונה, והוא כי עובדי הרשות לא יעשו שימוש מספיק באלגוריתם, שהיווה כלי עזר אופציונלי ולא מחייב. בכך ירד לטמיון היתרון שהוא עשוי להביא – הגדלת החקירות לילדים בסיכון גבוה, תוך הקטנת החקירות לילדים בסיכון נמוך. לאחר תקופת שימוש ניסיונית הגיעה הרשות למסקנה כי הותרת השימוש לבחירה מלאה של העובדים אינה מביאה לתוצאות מספקות. על כן אימצה פרוטוקול חדש, לפיו אם האלגוריתם מעריך שהסיכון גבוה במיוחד, ברירת המחדל היא העברת הפניה לחקירה, אך העובד יכול לעקוף זאת באישור מנהל, אם סבור שיש סיבה טובה לכך. כמו כן, פניות בסיכון נמוך מאוד לפי האלגוריתם יסוננו החוצה כברירת מחדל, אלא אם העובד סבור אחרת. בהמשך לכך, מחקר ראשוני בלתי-תלוי שבחן את השימוש האמור מצא כי האלגוריתם שיפר את הדיוק בסינון פניות, קרי באחוז גדול יותר מהתיקים שהועברו לבחינה נמצא כי אכן היה צורך בנקיטת פעולות.
מלבד החשיבות הנתונה לאופן העיצוב ופיתוח האלגוריתם עצמו, הכוללים שאלות כמו מהו מסד הנתונים המשמש לבנייתו; מהי התוצאה שעל בסיסה בוחנים סיכון (הוצאה מהבית? פניה מחודשת לקו החם? פגיעה גופנית?); איזה הסבר ניתן לעובד המשתמש אודות הדרך שבה האלגוריתם מגיע לתוצאה נתונה– ישנה גם חשיבות רבה לתהליך קבלת ההחלטות שמעצבת הרשות בשימוש באלגוריתם. כך למשל, האם יעשה שימוש באלגוריתם רק לצורכי בקרת איכות (quality assessment) על ידי צוות ייעודי שאינו חלק מהמנגנון העיקרי של צוותי העובדים הסוציאליים, או שמא הוא מיועד לקבלת החלטות מהותיות המשפיעות על גורלם של ילדים ומשפחותיהם; או האם האלגוריתם ישמש לשלבים ראשוניים של סינון פניות, או לשלבים מתקדמים יותר כגון תיעדוף פנימי של תיקים פתוחים ואף המלצה על נקיטת פעולות משפטיות ואחרות?
דוגמא נוספת להחלטות שעל הרשות לקבל היא האם העובדים יחשפו לציון הסיכון (risk score) שייצרה המערכת בטרם יגבשו את החלטתם, או רק לאחר מכן, אז הוא משמש להם כמעין בקרה או אתגור של הערכתם. במחוז Douglas בקולורדו למשל, שם החלו לאחרונה לעשות שימוש באלגוריתם דומה, הוחלט כי האלגוריתם יהיה כלי עזר בלבד לצוותים המבצעים את ההערכה והניתוב לפניות, וכי השימוש בו יהיה נתון לשיקול דעתם המלא. בחירה זו מעלה בעיה מסֶדֶר שני, עליה עמדנו לעיל – שינוי התנהגות בירוקרטי הוא תהליך מורכב, וככל שהדבר עומד לשיקול הדעת המוחלט של העובדים, ישנה סבירות בלתי מבוטלת כי הם יבחרו שלא לעשות שימוש בכלי כלל, ובכך יפחיתו את התועלת הנשקפת ממנו.
לצד הבעיות ביישום והטמעה אפקטיביים של מערכות לקבלת החלטות מבוססות-אלגוריתם, אחד החששות הנשמעים תכופות ביחס לאלגוריתמים הוא כי אלו עשויים ללקות בהטיות – מגדריות, גזעיות או אחרות – כפועל יוצא של הנתונים המוזנים לתוכן ושעליהם אומנו, או בשל הטיות הקיימות במפתחי האלגוריתם עצמם – שיש הטוענים כי אלו אינם מגוונים דיים – ולפיכך אדישים או אינם מודעים להשלכות החברתיות של החלטותיו. בהקשרי הגנת ילדים, בעיה מוכרת היא כי אוכלוסיות ממעמד סוציו-אקונומי נמוך, וכן אוכלוסיות מיעוט כגון אפרו-אמריקאים, נמצאים בפיקוח-יתר של רשויות הרווחה בכלל. דהיינו, משום שעובדי הרשות נוטים להיות לבנים וממעמד הביניים, קיימת תופעה של חקירת-יתר של ילדים שחורים ובהתאמה – חקירת-חסר של ילדים לבנים. זאת, על אף שאין קורלציה בין חלק מסוגי הפגיעות הקיימות אצל ילדים, למשל פגיעות מיניות, לבין קבוצת השתייכות גזעית. מחקר בלתי-תלוי שנערך בפיטסבורג, מצא כי בניגוד לחששות, השימוש באלגוריתם לא יצר הטיות גזעיות ואף הקטין אותן – בכך שהוביל להגדלה של מספר הילדים הלבנים המזוהים בסיכון גבוה המועברים לבחינה, אשר עובדי הרשות נטו לסנן החוצה יתר על המידה. מנגד, לא נרשמה ירידה בסינון החוצה של ילדים אפרו-אמריקאים המזוהים בסיכון נמוך, שלרשויות יש נטייה לחקור יותר מהנדרש.
לבסוף, ביקורת נפוצה על השימוש במערכת קבלת החלטות מבוססת-אלגוריתם, היא שהדבר עלול לפגוע באחריותיות (accountability) של רשויות ציבוריות, קרי ביכולת למצוא כתובת לאחראים להחלטות הרשות, או לתבוע סעד בגין נזק יציר החלטות המערכת. זאת, בין היתר מכיוון שלרוב קשה להבין או להסביר את הדרך שבה האלגוריתם הגיע לתוצאה נתונה (בעיית ההבנתיות – explainability). הדבר עשוי להוות בעיה הן מבחינת העובדים הנדרשים להשתמש באלגוריתם מבלי שבאפשרותם להבין את הדרך לקבלת התוצאה, והן מבחינת הלקוחות – המשפחות הנתונות להחלטות הרווחה – שאין באפשרותן לקבל הסבר ברור לו הן זכאיות וזקוקות, לצורך ערעור על החלטה פוגענית שהתקבלה בעניינם על-ידי האלגוריתם. במקרה של פיטסבורג, שם האלגוריתם משמש ככלי תומך-החלטה המיושם בשלבים מוקדמים בהליך המנהלי בלבד, ולא לקבלת החלטות בעלות השלכות כבדות יותר, עובדי הרשות חוקרים את המקרה ומקבלים החלטות בהתבסס על נתוני עומק, כך שכל פעולה שננקטת ניתנת, לכאורה, לביאור מלא. יחד עם זאת, בפיטסבורג וברשויות נוספות בוחנים דרכים שונות ליידע את העובדים אודות אופן עיבוד המידע וקבלת ההחלטות על-ידי האלגוריתם.
כמובן, יש לזכור כי המקרה של פיטסבורג עשוי להיות ייחודי ואינו משקף את כלל ההתנסות ביישום מערכות לקבלת החלטות מבוססות-אלגוריתם, בשירותי הרווחה. במקרים אחרים, רשויות מקומיות שניסו לאמץ אלגוריתמים למטרות דומות זנחו אותם לאחר תקופה קצרה, לאור הקשיים שהם יצרו והתבטאו בתוצאות מוטות או שגויות. למשל, בשיקגו אימצו אלגוריתם של חברה מסחרית למטרות דומות, אך מצאו כי הוא מסווג אלפי ילדים כנמצאים בסיכון גבוה מאוד, על אף שרק ילדים בודדים מדי שנה אכן נפגעים מהזנחה או התעללות בשיקגו ומוצאים מביתם. על כן הודיעה שיקגו לאחר תקופה קצרה, כי היא מפסיקה את השימוש במערכת.
מקרים מסוג זה מציפים את החשיבות בתהליך מסודר ואחראי של עיצוב אלגוריתמים והטמעתם, תוך בחינה מתמשכת של האפקטיביות וההטיות הקיימות, ותוך נקיטה בשקיפות ציבורית. המערכת שיושמה בפיטסבורג אומנם פותחה תוך שיתוף פעולה אקדמי, אך לרוב, נאלצות רשויות מקומיות – הנעדרות מומחיות פנימית בתחום הבינה המלאכותית הנדרשת לפיתוח מערכות כאלה – לבצע מיקור-חוץ ולהתקשר עם חברות מסחריות לרכישת מערכות לקבלת החלטות מבוססות AI. כך מוצאות עצמן רשויות רבות, בעיקר כאלה דלות משאבים, נאלצות לרכוש כלים מבוססי-AI ‘מוכנים’ (off the shelf), כאלה שלא עוצבו מראש כדי להתאים לתנאים ולצרכים הייחודיים של הרשות המקומית הספציפית. שימוש בכלים מסחריים מעורר קשיים בכך שהם מוגנים לרוב בהגנות של קניין רוחני וסודות מסחריים, מה שמקשה על יכולתה של הרשות להתוודע אל ולהבין את תהליך קבלת ההחלטות שלה עצמה (באמצעות המערכת). היעדר השקיפות ואי-ההבנתיות האמורים, פוגעים בשקיפות כלפי האזרחים ואף באוטונומיית הפרט מושא ההחלטה ובזכותו להליך הוגן (מקום בו הוא מבקש לקבול כנגד החלטת המערכת בעניינו). מקרה הבוחן של פיטסבורג מלמד כי ניתן לעשות זאת בשיתוף פעולה אקדמי תחת התקשרות עם חברה מסחרית, וכן לעודד שקיפות ובחינה של הנתונים על ידי גורמים בלתי תלויים, ובכך לעודד אמון ולגיטימציה ציבורית. המודל שאמצה פיטסבורג עשוי שלא להתאים לרשויות אחרות – והאלגוריתם שלא להתאים לנתונים הייחודיים שלהן – וחשוב כי רשויות יעצבו את הכלים ואת התהליכים שלהן באופן עצמאי וייחודי, תוך למידה זו מזו והסתמכות על פרקטיקות מוכחות ומוצלחות (best practices).
אין לכחד כי על אף ניסיונות אלה, ישנם קולות המבקרים כליל את השימוש באלגוריתמים בתחום הגנת ילדים, וטוענים כי מדובר בחלק ממגמה כללית של מעקב-יתר דיגיטלי אחר אוכלוסיות מיעוט מוחלשות, וכי כלים טכנולוגיים אינם יכולים לפתור בעיות חברתיות רחבה יותר. טיעונים מסוג זה מעוררים חשש כי רשויות, החוששות מביקורת ציבורית, יוותרו על הניסיון להטמיע טכנולוגיות מתקדמות בעבודתן, וידבקו בסטטוס קוו. אף שחשוב שלא להתעלם מקולות אלה, יש לזכור שהמצב הנוכחי אינו משביע רצון דיו, וכי עדיפה הגישה שבוחנת חדשנות בשירות הציבורי על פני זו המעדיפה את הקיים והרע על הבלתי נודע. באמצעות מודעות גבוהה לאתגרים, ובניית תהליכים שקופה ונכונה המעוררת אמון ומעניקה לגיטימציה ציבורית, ניתן להתגבר על חלק מהחששות, המוצדקים ברובם, ולרתום כלים טכנולוגיים מתקדמים הנפוצים במגזר הפרטי לשירותי הרווחה ולשירות הציבורי בכלל.
* JSD candidate, Stanford Law School.
[i] Michael Lipsky, Street-level bureaucracy: Dilemmas of the individual in public service (2010).
[ii] Aziz Z. Huq, A Right to a Human Decision, 106 Virginia Law Review 611 (2020); CARY Coglianese & DAVID Lehr, Regulating by Robot: Administrative Decision Making in the Machine-Learning Era (2017).