הפרופיילינג המשטרתי מעלה חשש לאפקט מצנן שישפיע על שורת זכויות אדם

ההסמכה הנדרשת לשימוש במערכת לניבוי פשיעה צריכה להיות ברורה ומפורשת. בצדה נדרשת שקיפות כלפי הציבור, המחוקקים ושומרי הסף בפרט ביחס להטיות השונות שבה.

הנדון: דיון בנושא הפעלת מערכת "מוכללים" לאיתור חשודים בנתב"ג ושיטור מונחה עתיד

א. מבוא

אנו מברכים על קיום הדיון בוועדת החוקה בנושא הפעלת מערכת "מוכללים" לאיתור חשודים בנתב"ג ושיטור מונחה עתיד, בתאריך 21.5.2023.

בחודש נובמבר 2022 נחשף בעיתון "כלכליסט" שמשטרת ישראל עושה שימוש במערכת הכללה ממוחשבת (פרופיילינג) בשער הכניסה למדינה, למטרות של איתור בלדרי סמים.תומר גנון "האלגוריתם שיעצור אתכם בנחיתה בנתב"ג" כלכליסט (10.11.2022) https://newmedia.calcalist.co.il/magazine-10-11-22/m02.html בכתבה מתוארת מערכת הכללה אלגוריתמית שבהסתמך על בסיס פרופיל סטטיסטי שנשען על נתוני עבר, מצביעה על אזרחים המגיעים ארצה כחשודים העונים לכאורה על פרופיל של בלדר. אזרחים אלו, לפי הנכתב בכתבה, מעוכבים עוד בטרם נערך חיפוש בכליהם ועל גופם, וזאת בהסתמך על "שיטת הכללה" שטיבה לא ידוע והיא נחשפה במסגרת הליכים פליליים כנגד מי שבכליהם נמצאו סמים (למשל בעניין עומר ברגרבשפ 8308/21 עומר ברגר נ' מדינת ישראל (8.12.2021). ידוע לנו כי קיים צו איסור פרסום על הליכים אחרים בפרשה זו.), ושעל חלקם הוטלו צווי איסור פרסום לבקשת המשטרה. כן סורבו בקשות חופש מידע שהוגשו למשטרה בנושא על ידי האגודה לזכויות האזרח והתנועה לחופש המידעראו מכתבה של האגודה לזכויות האזרח ליועצת המשפטית לממשלה הנמצא כאן. באתר ועדת החוקה לא מופיעה תגובה למכתב שנשלח על ידך למשטרת ישראל בעניין זה.

במסמך זה נרחיב בנושא "שיטור מנבא" והבעיות הקשות שהוא מעורר, אבל קודם לכן נבקש להצביע על דגם חוזר, שעלה גם בדיונים האחרונים שניהלת בעניין השימוש במערכות מעקב טכנולוגיות על ידי המשטרה. מדובר בדגם שלפיו המשטרה רוכשת מערכות טכנולוגיות מבלי שהיא מפעילה מערך מספק של הבנה טכנולוגית והבנה משפטית באשר למשמעויות המעשיות והמשפטיות שלהן, והדברים מתגלים רק בדיעבד. לסיום, נטען כי שילוב הבעייתיות של הטכנולוגיה הנוכחית של שיטור מנבא עם התופעות המערכתיות שאנו עדים להם, מלמד על החשיבות היתרה במעורבות פעילה של הכנסת בכלל, ושל הוועדה בראשותך בפרט, בהסמכה של מערכות אכיפת החוק לעשות שימוש במערכות טכנולוגיות מתקדמות ובדיון הציבורי הנדרש לשם כך.

מערכות מבוססות למידת מכונה, אינן "רעות" או "טובות" בהכרח. ואולם לעיצובן ולפיתוחן של טכנולוגיות, ולהקשר שבו הן משמשות, יש נגיעה לזכויות אדם.ראו למשל Mike Cooley, The Myth of the Moral Neutrality of Technology, 9 AI & Soc. 10 (1995) לחלקן, ביחוד בתחומי יישומים באכיפת חוק ושיטור, יש השפעה כה רבה עד כי האיחוד האירופי או האומות המאוחדת מציעים לאסור כליל על השימוש בהן.United Nations General Assembly,The right to privacy in the digital age, Para. 59.(c)-(d) (A/HRC/48/31, 13.9.2021) מערכות לזיהוי פנים, לניטור התנהגות במרחב או לחיזוי פשיעה פועלות כ"פנאופטיקון" הממשטר את התנהגות האזרחים המפוקחים באמצעותן.ראו לדוגמה עמיר כהנא ויובל שני, רגולציה של מעקב מקוון בדין הישראלי ובדין המשווה 19-20, המכון הישראלי לדמוקרטיה, 2019. משום כך הן עלולות להשפיע על נכונות של אנשים להימצא באזורים מסוימים, לבוא במגע עם זולתם, להתבטא בחופשיות או להתנהג באופן לא מקובל. האפקטים המצננים האלו עשויים להשפיע על זכויות אדם אחרות, כגון חופש הביטוי, זכות האספה, חופש התנועה או האוטונומיה של הפרט.

כאשר עסקינן במערכת הכללה או שיטור מנבא שתכליתה היא להצביע על "חשודים סטטיסטיים" בעבירות, עולות גם שאלות הנוגעות לכללי הצדק הטבעי, הליך הוגן ואכיפה בררנית. זאת, בהשוואה לפעולות של שוטרים בשר ודם, שאין להתעלם מן ההטיות שלהם אבל הן אינן הטיות אלגוריתמיות שיטתיות.

כעולה מן הדברים, הפגיעה בזכויות אדם על ידי מערכת לניבוי פשיעה היא ברורה ומובהקת. לפיכך, ההסמכה הנדרשת לשימוש במערכת כזאת צריכה להיות ברורה ומפורשת; ועצם השימוש במערכת (גם ללא כניסה לפרטים) צריך להיות ידוע לציבור וכמובן למחוקקים ולשומרי הסף האחרים ולא להתגלות במפתיע בדיעבד.

ב. דגם חוזר ומטריד של אימוץ טכנולוגיות על ידי משטרת ישראל

סיפור הפרישה בנמל התעופה של מערכת הכללה אלגוריתמית – שאת עקרונות פעולתה, כך מסתמן, אין המשטרה מסוגלת להסביר לבית-המשפט,ראו דברי השופטת ברון בעניין בשפ 8308/21   עומר ברגר נ' מדינת ישראל (8.12.2021) אך להחלטותיה יש השלכות מעשיות על פרטים, מלמד על קיומו של דגם מטריד שבו חזינו בפרשות "עין הנץ", השימוש ברוגלות, מערכות זיהוי פנים – וייתכן שהוא מתקיים גם לגבי מערכות אחרות שאיננו מודעים לגביהן. משטרת ישראל מצטיידת בטכנולוגיות מתקדמות, אך לא מתקיים (1) דיון ציבורי מספק לגביהן (2) דיון מקצועי מספק לגביהן. כך נוצרת שרשרת של כשלי שומרי סף הן בתחומי ההסמכה בדין, הן בתחומי הפיקוח והבקרה.

לא ברור כלל שמשטרת ישראל רשאית לעשות שימוש במערכות הכללה אלגוריתמיות ללא הסמכה מפורשת בדין. אבל גם אם ישנה פרשנות משפטית המאפשרת זאת, המסמכים הגלויים – ויש להניח שהדברים מתבטאים בצורה חריפה אף יותר במסמכים שעליהם קיימים צווי איסור פרסום – מלמדים על הדגם הזה. נסביר את דברינו:  

1. הדיון הציבורי בכנסת אמור לגשר על פערי הבנה ותפיסה. מייקל היידן, מי שעמד בראש ה-NSA וה-CIA האמריקנים כתב בשנת 2014 לגבי מרחב הסייבר ש"קיימות מעט תופעות חברתיות כה חשובות ומדוברות שיש לגביהן הבנה כה מועטה". היידן הדגיש שאיננו מתייחס להבנה לגבי הפעלת כלי טכנולוגי ספציפי אלא לחוסר במסגרת תפיסתית המאפשרת להבין את ההשלכות של השימוש בטכנולוגיות. אכן, בטרם נעשית פניה אל הרמה הטקטית (רגולציה, חקיקה, פיקוח שיפוטי) ראוי להתקיים דיון מקדמי הנוגע להבנת המשמעויות של שימושים במערכות טכנולוגיות וליכולת לדמיין את האפשרויות החדשות שהן מביאות איתן. זה דיון מוסרי הנוגע לשלד השיטה ולהשלכות של שימושים טכנולוגיים על יחסי הכוח בין הרשויות ועל תהליכים חברתיים. לתפיסתנו, דיון זה צריך להתקיים מלכתחילה בכנסת ישראל. יודגש: פערי התפיסה האלה הם מובנים משום שהם נובעים מהיעדר ניסיון היסטורי אודות מרחב הסייבר, מהיעדר ניסיון פרקטי במוצרים טכנולוגיים חדשים וגם מכך שבמרחבים אלה מיטשטשות הבחנות שהיו מקובלות בממדים אחרים ובתוכן ההבחנה בין פרטי לבין ציבורי, בין מחסור לבין היצף, בין "פלילי" לבין "בטחוני", בין "כחול" (כוחותינו) לבין "אדום" (האויב), בין "תקיפה" לבין "איסוף" ובין שקיפות לבין חוסר יכולת להסביר פעולות והחלטות. אבל עמוק לתוך המהפכה התעשייתית הרביעית, הכנסת איננה יכולה להסיר עוד את אחריותה כלפי הצורך לקיים את הדיונים האלה.

2. דיון מקצועי: משטרת ישראל – הן במרחב המקצועי והן במרחב המשפטי שלה ושל הייעוץ המשפטי לממשלה – ככל הנראה איננה מבצעת עבודת מטה מספקת ומסודרת הבוחנת את מידת ההתאמה של הטכנולוגיה שבה מבקשים להשתמש לדין הקיים; איננה מבצעת תסקיר סיכונים (Regulatory Impact assessment) מספק לבחינת ההשלכות של אימוץ הטכנולוגיה הזו על זכויות האדם והאזרח; ואיננה מנסחת נהלי הפעלה מפורטים עוד טרם השמשת הטכנולוגיה. כתוצאה מהיעדר הבנה מספקת של עצם השימוש בטכנולוגיה וההשלכות, שאלת ההסמכה המפורשת בדין להשתמש במערכות איננה מקבלת משקל מספק – הן מפני שהדברים אינם עולים לדיון והן מפני שגורמי הפיקוח אינם מבינים עד תום במה מדובר. בנוסף, המשטרה איננה מקיימת הערכה רוחבית לאחר השמשת המערכת על מנת לזהות יעילות או כשלים בשימוש בו, וממילא הערכה כזאת איננה מגיעה במעלה הארגון אל גופי הבקרה הפנימיים והחיצוניים. במקרה של רשימת המוכללים, למשל, נדרשים נהלים לעדכון המודל, בחינה עתית שלו מפני הטיות, זיהוי מצבים בהם מוטב להשבית אותו וכיוצא באלה. 

ג. שיטור מנבא, הטיות אלגוריתמיות ו"חשודים סטטיסטיים"

מניעת עבירות וגילוין הם בין תפקידי המשטרה המנויים בפקודת המשטרה.ס' 3 לפקודת המשטרה [נוסח חדש], תשל"א-1971 לשם כך נדרשת המשטרה ליכולת לזהות מבעוד מועד היכן עלולות להתרחש עבירות ולהצביע על מי שברמת ודאות גבוהה עשוי להיות עבריין. אם בעבר יכולות אלו התבססו בעיקר על שיקול דעת אנושי, ניסיון מקצועי ו"חוש המומחיות" של השוטר בשטח, בשנים האחרונות גוברת בעולם מגמת הצטיידות של רשויות אכיפת חוק במערכות חיזוי פשיעה, כחלק מגישת שיטור מנבא (Sarah Brayne, Predict and Surveil: Data, Discretion and the future of Policing 56-72 (2020)predictive policing). מערכות מבוססות בינה מלאכותית יכולות לספק פתרונות יעילים בסביבות מורכבות ובתחומים שדרשו עד כה כוח אדם מיומן ושבידיו הופקד שיקול דעת לביצוע המשימה.

מערכות חיזוי פשיעה בשירות המשטרה יכולות להיות על בסיס גאוגרפי. למשל, להצביע על אזורים בהם הסבירות להתרחשות עבירות רכוש היא גבוהה. זאת, בין השאר, בהסתמך על תיאוריות קרימינולוגיות לפיהן לעבירות רכוש יש נטייה להתפרצויות באזורים מסוימים בטווח זמן קצר – פריצה שעלתה יפה לבית בשכונה מסוימת יכולה לעודד את העבריינים לנסות ולשחזר את ההצלחה באותו אזור.ראו למשל Daniel B. Neill and Wilpen L. Gorr, Detecting and Preventing Emerging Epidemics of Crime, 4 Advances in Disease Surveillance (2007); Jerry H. Ratcliffe and George F. Rengret, Near-Repeat Patterns in Philadelphia Shootings 21 Security J. 58 (2008) עיבוד היסטורי של אירועי עבריינות בתא שטח גאוגרפי מסוים יכול לזהות אזורים בהם העבריינים עשויים לפעול שוב. הפניית כוחות שיטור לפטרול באותן 'נקודות חמות' עשויה להרתיע את העבריינים החוזרים מלעשות זאת. ואכן, כוחות משטרה ברחבי ארצות הברית דיווחו על ירידה משמעותית בהיקף עבריינות הרכוש בעקבות השימוש במערכות חיזוי פשיעה אלו.Andrew G. Ferguson, Policing Predictive Policing, 94 Wash. U. L. Rev. 1109 1130 (2017) עם זאת, מחקרים נוספים הראו עליה ברמת העבריינות לאחר מכן,ר' למשל Richmond police chief says department plans to discontinue ‘predictive policing’ software, the Richmond Standard (24.6.2015) ואחרים לא מצאו כל שיפור מובהק סטטיסטית ברמת הפשיעה במחוזות בהם נעשה שימוש בטכניקות 'נקודות חמות' אלו.Priscillia Hunt, Jessica Saunders and John S. Hollywood, Evaluation of the Shreveport Predictive Policing Experiment, (RAND Corp., 2014)

מערכות חיזוי אלגוריתמיות נמצאות בשימוש רשויות אכיפת חוק גם על מנת להתמודד עם פשיעה אלימה – מתוך הנחות לפיהן באזורים גאוגרפיים מסוימים יש תנאי שטח נוחים יותר לביצוען – סמטאות ספציפיות עם תנאי תאורה לקויים, או עם נתיבי מילוט נוחים, למשל, או שכונות שנמצאות בשליטה טריטוריאלית של כנופיה זו או אחרת. חברת Hunchlab פיתחה מערכת המבוססת על גישה זו, שבאמצעות למידת מכונה המסתמכת על נתוני פשיעה היסטוריים, כמו גם על פרמטרים גאוגרפיים, תחבורתיים ומטאורולוגיים,Aaron Shapirom, Reform Predictive Policing 541 Nature (2017) כדי לחזות פשיעה. נראה כי המערכת הצליחה להוריד את שיעורי הפשיעה האלימה במהלך חודשי הקליטה שלה בשיקגו.Timothy Mclaughlin, As shootings soar, Chicago police use technology to predict crime, Reuters (5.8.2017)

טקטיקה נוספת לחיזוי פשיעה היא מערכות "זיהוי מנבא" predictive identification)). אלו מערכות הכללה (פרופיילינג), שמיועדות להעריך מסוכנות, לחזות רצידיביזם (פשיעה חוזרת) או לזהות דפוסים המשויכים לפרופיל עברייני. כאן מודל השיטור איננו ביצוע פטרולים הרתעתיים באזורים מועדי פשיעה, אלא זיהוי ישיר של "חשודים סטטיסטיים". גישה זו עודנה בחיתוליה מבחינת יישום נרחב, אך ברחבי ארצות הברית ניתן לראות ניצנים של פרויקטים בתחום.לסקירה ראו Ferguson  בה"ש 11 לעיל, בעמ' 1138-1143.

האתגר המרכזי שמציגות מערכות עיבוד מידע מבוסס מכונה בשירות רשויות אכיפת החוק, ומערכות שיטור מנבא בפרט, הוא אתגר ההטיות האלגוריתמיות (algorithmic bias).על הטיות אלגוריתמיות ראו עמיר כהנא ותהילה שוורץ אלטשולר, אדם, מכונה, מדינה: לקראת אסדרה של בינה מלאכותית (המכון הישראלי לדמוקרטיה, עתיד להתפרסם בשנת 2023), בפרק 6. לצד היתרונות של מערכות אלגוריתמיות בקבלת החלטות שהן גם יעילות וגם חפות מהטיות קוגניטיביות אנושיות, מערכות אלו אינן חסינות מהטיות מתודולוגיות הנובעות מתהליכי הפיתוח שלהן, המבוססים על נתונים. מכונות לומדות מבססות את הלמידה שלהן על 'נתוני אימון', שמהם מסיקות המערכת מהו המודל האופטימלי לחיזוי. מודל זה עלול  להיות מוטה באופן שמפלה לרעה או פוגע באוכלוסיות מסוימות, על בסיס מוצא אתני, מגדר, נטייה מינית וכיוצא באלה. זאת, הואיל ונתוני האימון עשויים לייצג אוכלוסיות מסוימות בייצוג יתר או בייצוג חסר – אם בשל שעתוק הטיות מבניות קיימות ושיטור יתר כלפי אוכלוסיות מסוימות,Sandra G. Mayson, Bias In, Bias Out, 128 Yale. L. J. 2122-2473 (2019) ואם בשל תכנון לקוי של פיתוח המודל.למשל,  כשנתוני האימון מבוססים על מדגם לא פרופורציונלי של האוכלוסייה, המודל עשוי לכלול הטיות ביחס למגזרים באוכלוסייה להם יש ייצוג יתר או ייצוג חסר. למשל, חברת אמזון פיתחה כלי בינה מלאכותית שנועד לסייע למחלקת משאבי אנוש של החברה על ידי אוטומציה של תהליכי גיוס של מהנדסים. מכיוון שבסיס הנתונים עליו הסתמכה החברה הורכב ברובו מפרופילים של מהנדסים גברים, הכלי שפותח התגלה כמוטה נגד מועמדות, והחל לסנן קורות חיים של נשים. Jeffrey Dastin, Amazon scraps secret AI recruiting tool that showed bias against women, Reuters (11.10.2018) available at https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-airrecruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G

למשל, נתוני האימון עשויים להיות מוטים אפריורית, אם הם נשענים על נתונים היסטוריים המשקפים הטיות מערכתיות – בדומה לתוכנת סינון המועמדים לבית הספר לרפואהראו לעניין זה את ההבחנה של דבורה הלמן בין Nonaccuracy affecting injustice לבין Accuracy affecting injustice. אי-דיוק באיסוף הנתונים עלול להביא לתוצאות לא צודקות – למשל אם רישום הנתונים מושפע מפרקטיקות לא צודקות או כשנתונים אלו מושפעים מהערכה אנושית מוטה. לעומת זאת, ייתכן גם בסיס נתונים שנאסף בדיוק מירבי, אך בשל הטיות מערכתיות מביא אף הוא לתוצאות לא צודקות. Deborah Hellman, Big Data and Compounding Injustice, Journal of Moral Philosophy (2023) או לאפליה היסטורית (בארצות הברית למשל יש מתאם סטטיסטי גבוה בין מקום מגורים למוצא אתני עקב פרקטיקות הפרדה גזעית; בישראל ישנו שיטור יתר כלפי בני הקהילה האתיופית).על המשמעות האלגוריתמית של פרקטיקות אלו ראו למשל Nicole McConlouge, Discrimination on Wheels: How Big Data Uses License Plate Surveillance to Put the Brakes on Disadvantaged Drivers, 18 Stan. J. C.R. & C. L. (2022) 48-49. להיסטוריה המשפטית של הפרדה בדיור בארצות הברית ראו לדוגמה Charles L. Nier III, Perpetuation of Segregation: Toward a New Historical and Legal Interpretation of Redlining under the Fair Housing Act, 32 J. Marshall L. Rev. 617 (1999)

בהתאמה, גם מודלים של חיזוי פשיעה הנשענים על בסיסי הנתונים של המשטרה עשויים לסבול מהטיות, בשל ההטיות המבניות של המשטרה בטיפול בעבירות מסוגים שונים, בדיווח עליהן ועל עבריינים. למשל, עצם הפריסה של מערכת חיזוי פשיעה על בסיס תאי שטח (hotspots) עשויה לגרום להיזון חוזר בו בתא שטח שהוגדר כבעל סיכוי לפעילות עבריינית מוגברת, יזכה ליותר כיסוי משטרתי ואשר על כן ליותר דיווחים על פעילות עבריינית בשל נוכחות כוחות שיטור באזור המתעדים את פעילותם.ר' Ferguson, בה"ש 13 לעיל; Cathy O'Neil, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, chapter 5 (2016); Kristian Lum and William Isaac, To Predict and Serve? 13 Significance 14-19 (2016); Andrew D. Selbst, Disparate Impact in Big Data Policing 52 Ga. L. Rev. 95-109 (2017); Danielle Ensign, Sorelle A. Friedler, Scott Neville, Carlos Scheidegger and Suresh Venkatasubramanian, Runaway Feedback Loops in Predictive Policing, 81 Proceedings of Machine Learning Research 1-12 (2018)

עקרון דומה עשוי לחול ביחס לפרופיילינג – אפיון או הערכת סיכון של עבריינים: מאחר שדגימת הבסיס היא מתוך פעילות עבריינית מתועדת, ובפרט של עבריינים חוזרים, הפרופיל של עבריין עשוי לשקף דגימת יתר של קבוצת העבריינים החוזרים.Bernard E. Harcourt, Against Prediction: Profiling, Policing, and Punishing in an Actuarial Age 147 (2007) הוא עשוי לשקף הטיות מבניות או בלתי מודעות הנוגעות להפעלת שיטור יתר או חסר ביחס לקבוצות מסוימות באוכלוסייה. כך למשל, בשנת 2016 פורסמה באתר ProPublica סדרת כתבות שהעלו חשש שמערכת חיזוי רצדיביזם של עבריינים בה נעזרים בתי משפט בארצות הברית בבואם לגזור את דינו של נאשם, סובלת מהטיות גזעניותJulia Angwin et al., Machine Bias: There's Software Used Across the Country to Predict Future Criminals. And It's Biased Against Blacks, ProPublica (23.5.2016) לאחר שנמצאו הבדלים בין התפלגות הערכת הסיכונים שהפיקה המערכת עבור נאשמים שחורים להתפלגות שהפיקה עבור נאשמים לבנים.

אמנם, מדעני מחשב מושכים לעיתים בכתפיהם לנוכח תוצאות מפלות ומפטירים: "זבל נכנס – זבל יצא" (garbage in, garbage out).ראו למשל Sandra G. Mayson, Bias In, Bias Out, 128 Yale. L. J. 2122 (2019) ואולם, כאשר מדובר במערכות שיטור מונחה עתיד, חובת הזהירות בהפעלת הכוח משמעה שיש להכיר בכך שההטיות קיימות ולפתח מנגנונים לזיהוי ולצמצום שלהן, הן בתהליך פיתוח המערכת וכתנאי מוקדם להכנסתה לשימוש והן לאחר שהיא הושמשה ונמצאת בפעילות.  

ד. כיצד ניתן להתמודד עם הטיות אלגוריתמיות?

הגם שאת בעיית ההטיות האלגוריתמיות לא ניתן למנוע, במיוחד כאשר מקור ההטיה הוא במציאות עצמה, המגולמת בנתונים, ניתן לצמצם את היקפה ולזהות אותה. ישנן מספר אסטרטגיות לצמצום הטיות אלגוריתמיות, ובתוכן 'הליך הוגן' סטטיסטי, שקיפות והסברתיות וכן הליכי בקרה בדיעבד (auditing). יש להבטיח שבקרה כזו נעשית לאורך כל מחזור החיים של המערכת: בשלבי הפיתוח (לרבות איסוף הנתונים), הפריסה (deployment) וההפעלה השוטפת. כן נדגיש כי המשותף לכל אלו הוא הצורך בתיעוד. כדי לתחקר אל-נכון את פעולתה של מערכת אלגוריתמית נדרש לתעד את תהליכי הפיתוח שלה, לשמור את בסיסי הנתונים בהם נעשה שימוש, ולחזור ולתקף את המודל מולם ומול נתונים חדשים. זאת במיוחד כאשר רמת ההסברתיות של מודלים של למידת מכונה היא נמוכה, וקשה עד מאוד להבין כיצד הם הגיעו לתוצאות שלהם.

1. הליך הוגן סטטיסטי: מימוש הזכות להליך הוגן (due process) מבחינה סטטיסטית משמעה שימוש באסטרטגיות מתמטיות, כגון אישור מראש של משתנים המותרים במידול (להבדיל מאיסור על השימוש בהם בדיעבד),E. R. Prince and Daniel Schwarz, Proxy Discrimination in the Age of Artificial Intelligence and Big Data, 105 Iowa L. Rev 1257, 1306-1310 (2020) או שימוש בבסיסי נתונים רחבים ועשירים כדי למתן את המשקל הסטטיסטי של משתנים חליפיים.שם, בעמ' 1310–1311. כיום, אסטרטגיות אלו יכולות להשפיע על דיוקו של המודלSam Corbett-Davies et al., Algorithmic Decision Making and the Cost of Fairness, KDD '17: Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining 797 (2017) ואחדות מהן יכולות להימצא לא יעילות אם בסיס הנתונים כשהוא לעצמו משקף הטיות מערכתיות או היסטוריות. יש לזכור גם שלעיתים אלגוריתמים מעלים אל פני השטח הטיות ואפליה שכבר קיימות. לכן אפשר לראות בהטיות האלגוריתמיות גם הזדמנות לזיהוי ההטיות המערכתיות וההיסטוריות המוטמעות במוסדות החברתיים שהאלגוריתם ממדל.Jennifer M. Logg, Using Algorithms to Understand the Biases in Your Organization, Harv. Bus. Rev. (09.08.2019)

2. גיוון ההון האנושי: כלי נוסף ל"הנדסת הוגנות" הוא גיוון ההון האנושי בקרב מפתחים של מערכות נבונות. ההנחה שביסוד ההצעה לגיוון היא שלמהנדסים בעלי זהות מגדרית, אתנית, דתית או פוליטית שונה יהיו רגישויות שונות להיבטים של הוגנות אלגוריתמית. כאשר המשטרה רוכשת מקבלנים חיצוניים מערכות כה רגישות, מצופה שגם עניין זה יילקח בחשבון.

3. שקיפות והסברתיות: טכנולוגיות של למידת מכונה הן מסובכות ולעתים גם בלתי־שקופות, מה שמקשה על מי שפיתח אותן להסביר את האופן שבו הן מעבדות מידע לשם הפקת ניבויים סטטיסטיים. אכן, החשש הן מפני תפקוד לקוי בשל הסתמכות על מאגרי נתונים מוטים או מפלים והן מפני הקושי לאתר תקלות ולתקנן בשל אופי ה״קופסה השחורה״, חוסר השקיפות וה"עכירות" המובנית בדרך פעולתן, מהווים מוקד לתשומת לב בספרות המקצועית והאקדמית בשנים האחרונות ובמענה לבעיית העכירות חוקרים ורגולטורים מעודדים הגברת חובות של ״שקיפות אלגוריתמית״, בכוונה לספק למשתמשים מידע על אודות דרך פעולתן של מערכות אלגוריתמיות.

שקיפות היא מונח שמקורו במשפט המינהלי, והתמרתו לעולם האלגוריתמי דורשת הבהרה. יש הרואים בשקיפות האלגוריתמית מרכיב של חובת ההסברתיות, בעוד אחרים רואים בה מושג רחב יותר, הכולל גם חובות לשקף מידע על מטרות התוכנה והשפעתה על זכויות. כך או כך טיעון ה"קופסה השחורה" אינו יכול לשמש בשום פנים כתירוץ לפטור מן הצורך בהסברתיות, בייחוד כאשר מערכות ניבוי משמשות לפגיעה בזכויות אדם. הזכות לקבל הסבר על החלטות שהתקבלו על סמך ניבויים סטטיסטיים, היא אחת מזכויות היסוד בעולם שבו חלק הולך וגדל מן ההחלטות השלטוניות והעסקיות נעשה באמצעות מכונה. כפי שהצענו במחקר מלפני כמה חודשיםגדי פרל ותהילה שוורץ אלטשולר, מודל ליצירת שקיפות אלגוריתמית, המכון הישראלי לדמוקרטיה 2022. ניתן לפעול בשני מסלולים למימוש חובת השקיפות האלגוריתמית — המסלול הראשון מתמקד במקורות השקיפות הקלאסית ודורש מתן הסבר רציונלי לסיבה שבשלה מערכת אלגוריתמית סיפקה פלט מסוים ולא אחר — בדומה למצב הקיים במשפט המינהלי, הרואה בשקיפות אמצעי מקדמי המאפשר למערכות הבקרה לבחון את איכותן של החלטות ואת דרכי קבלתן. המסלול השני מאפשר מתן הוכחה מתמטית־סטטיסטית לתקינות המערכת האלגוריתמית ולבסיס הנתונים שעליו היא מסתמכת. כאשר מפעיל המערכת יכול להוכיח שהיא נבנתה על סמך מאגר נתונים מתאים סטטיסטית ונקי מהטיות, ושהאלגוריתם מותאם למשימה ומופעל באופן שוויוני.

4. הליכי בקרה ואודיטינג: במקביל לנקיטת אמצעי הנדסת הוגנות לפני פיתוח המודל יש גם לנקוט הליכי בקרה בדיעבד, כלומר לבחון את תוצאות האלגוריתם כדי לוודא שהן עומדות בתקני ההוגנות שבדין. הוגנות אינה הסיבה היחידה להחיל מנגנוני בקרה כאלה, שכן החלטות אלגוריתמיות יכולות להיות הוגנות אך שגויות מטעמים אחרים (למשל, כשהחלטה אלגוריתמית שהתקבלה בעניין פלוני שגויה מאחר שהרשומה הפרטנית שלו בבסיס הנתונים מכילה מידע שגוי, בחינת ההחלטה בדיעבד תוכל לזהות את השגיאה ולהביא לתיקונה). אבל בקרה בדיעבד של אלגוריתמים נועדה להבטיח לא רק את תקינות קוד המקור של המודל, אלא גם את התקינות של המתודולוגיה הסטטיסטית ושל הליכי איסוף הנתונים ואימונם. הליכי בקרה נאותים יוכלו לזהות, ולו בדיעבד, שגיאות מתודולוגיות וטעויות שהביאו לפיתוחו של מודל מוטה – מבלי לבחון אם התוצאות של המודל מוטות כשהן לעצמן.ראו לדוגמה Mario Martini, Regulating Algorithms, in Algorithms and Law 100, 122 (Martin Ebers and Susana Navas eds., 2020)  ראו למשל Melissa Heikkilä, A Bias Bounty For AI Will Help to Catch Unfair Algorithms Faster, MIT Technology Review (20.10.2022). לרקע על bug bounties ראו Amit Elazari, Private Ordering Shaping Cybersecurity Policy: The Case of Bug Bounties, in Rewired: Cybersecurity Governance 231 (Ryan Ellis and Vivek Mohan eds., 2019)

בעקבות ג'יימס גוּשה ועמיתיו אנו סבורים כי כמו שעושים ביקורת חשבונאית חיצונית לדוחות כספיים של תאגידים, יש לחייב רשויות ציבוריות, ובוודאי רשויות אכיפת חוק המפעילות מערכות בינה מלאכותית, להגיש לגורם ביקורת חיצוני המתמחה בתחום ההוגנות והבינה המלאכותית דגימה מהתוצאות שהמערכת מפיקה.James Guszcza et al., Why We Need to Audit Algorithms, Harv. Bus. Rev. (28.11.2018) גישה דומה באה לידי ביטוי בהוראה שנוספה לאחרונה לקוד המינהלי של העיר ניו יורק, הקובעת שהשימוש במערכות החלטה אלגוריתמיות לגיוס או לקידום עובדים יותנה בביקורת חיצונית מפני הטיות.N.Y.C. Admin. Code §§ 20-870 - 20-874 (2022)

ה. מערכת המוכללים: שאלות שצריך לשאול בדיון

לתפיסתנו, מצב שבו משטרת ישראל תעשה שימוש במערכת אלגוריתמית שמכווינה פעילות ליבה משטרתית ועל סמך המלצותיה עורכים חיפוש בגופו ובכליו של אדם, מבלי שניתן יהיה לבדוק בדיעבד אם זו פעלה כדין, הוא מצב בלתי מידתי. לכן, בשלב זה נציע לכם לשאול את השאלות המקדמיות הבאות:  

1. מהם מקורות המידע ונתוני האימון של המודל?

מהם נתוני האימון שבהסתמך עליהם פותח המודל (כולל אלה שנזנחו בתהליך המידול)?

מהם הנתונים המוזנים למערכת באופן שוטף?

האם מדובר בנתונים הנשאבים ממאגרי המשטרה, או שמא אלו הותכו עם מאגרי נתונים נוספים?

האם נעשה שימוש במקורות מידע גלויים ברשת (osint) לרבות כריית נתונים מרשתות חברתיות?

2. מהו המודל?

מהי פונקציית המטרה (הכללית) של המודל?

אילו פרמטרים התבקשה המערכת להציף כחשד לגבי מבקר בבית הנתיבות, למשל, גיל; נטייה מינית; מוצא עדתי; מקום מגורים; רמת הכנסה?

כיצד מתבצע הקשר בין החשוד הסטטיסטי לחשוד קונקרטי?

3. כיצד מתבצע עד עתה השימוש השוטף במודל?

כל כמה זמן מעודכן המודל?

האם ישנם נתונים שמתיישנים או מטויבים מחדש?

האם מערכות וסוגי מידע בהן התעדכנו מאז הוכנסו לשימוש?

האם נעשה מחקר הערכה מסודר לגבי האפקטיביות של המערכת הן מבחינת שיעור הטעויות מסוג ראשון (היינו, זיהוי שגוי של חשוד) והן מבחינת שיעור הטעויות מסוג שני (אי זיהוי של חשודים מקום בו הם ביצעו את העבירה בפועל)?

האם השגיאות מעידות על הטיה של המערכת? האם נעשו ניסיונות לתקן אותה?

4. מהם נהלי השימוש במערכת?

האם קיימת חוות דעת משפטית לגבי ההסמכה בחוק לשימוש במערכת? האם ברור שבפני הדרג המקצועי הוצגה התמונה הטכנולוגית המלאה?

האם יש חובות תיעוד של השלבים השונים בהפעלת המערכת?

האם האינדיקטורים לחשד הם קריטריונים אסורים?ר' למשל ס' 51 לחוק נתוני אשראי, התשע"ו-2016, ס"ח 25551 בעמ' 838

מהי רמת הביסוס שדורשת המשטרה לגבי החדש שהמערכת מעלה? האם ניתן להפריך את החשד הזה, ואם כן - כיצד?

האם יש חובות דיווח ולמי? האם היועץ המשפטי לממשלה מפקח על השימוש במערכת וכיצד?