למידת מכונה אדברסרית: התפתחויות במחקר, סכנות והשלכות

בשנת 2016 השיקה חברת מייקרוסופט צ’אטבוט חכם בטוויטר בדמות נערה אמריקאית בשם טאי. מטרת הצ’אטבוט הייתה לתקשר עם משתמשי הפלטפורמה למטרות בידור, אך בראש ובראשונה ללמוד מהאינטראקציה עמם כדי לשפר את המודל עליו נבנה. פחות מיממה לאחר השקתו ולאחר שהספיק להפיץ כ – 96 אלף ׳ציוצים׳, חברת מייקרוסופט פרסמה התנצלות והודיעה על השעיית הצא’טבוט. טאי, כך התברר, למדה גם לחקות את ההתנהגות הפוגענית של משתמשי טוויטר – שזיהו כי ביכולתם להשפיע לרעה על תהליך הלמידה שלה, ועשו כן – והחלה לצייץ ציוצים גזעניים ואנטישמיים בעצמה. מקרה זה היה בין הראשונים להוכיח באופן כה מוחשי ומדאיג כיצד ניתן ליצור מניפולציה על מודלים מבוססי בינה מלאכותית ולשבשם, אפילו ללא גישה מלאה למודל ולמרכיביו.

בשעה שמתקיים דיון ציבורי נרחב בנוגע לבעיות האתיות שבהסתמכות על אלגוריתמים לקבלת החלטות וההטיות האנושיות שיוצרי המודל עשויים להטמיע לתוכו, העיסוק ביכולת של גורמים חיצוניים, ולרוב זדוניים, לשבש את המודלים האלו, הינו מועט. מאמר זה סוקר את התחום המתפתח שנקרא Adversarial Machine Learning או בעברית – ׳למידת מכונה אדברסרית׳, ואת השלכותיו.

לקריאת המאמר המלא לחץ כאן.

מחברת אורחת: יעל רם, סטודנטית במסלול הישיר לדוקטורט במחלקה ליחסים בינלאמיים באוניבריסטה העברית

ערכה: ד״ר סיון תמיר