מתחת לרדאר של המחוקק והציבור, מערכות AI בשירות המשטרה יוצרות ״נבואות״ לגבי מי שעשויים לבצע עבירות
משטרת ישראל רוכשת מערכות טכנולוגיות מבלי שמתקיימים דיון ציבורי ומקצועי מספק לגביהן והדברים מתגלים רק בדיעבד. המצב מחייב חשיבה מחודשת על התהליך שנדרש באימוץ טכנולוגיות, שיש בהן חשיבות אבל גם סיכון להפוך לפוגעניות, בשירות המשטרה.
Photo by Shutterstock
בואו נדבר רגע על הבת שלכם, נקרא לה נוגה, היא בת 26 וחוזרת מחופשת אביב בקאריביים. בואו נדגיש שלנוגה, בבת עיניכם, אין שום עבר פלילי. בואו נדמיין שאתם בדרך לאולם מקבלי הפנים לאסוף אותה כשאתם מקבלים ממנה טלפון היסטרי שעיכבו אותה עם כניסתה לארץ ועשו לה חיפוש על הגוף ובכל התיקים. למרבה הזוועה מצאו שלושה בקבוקונים עם משהו. נגיד קטמין. או, לחלופין, לא מצאו כלום. כשאתם נפגשים סוף סוף עם נוגה, היא בוכה. היא גם אומרת שכל אחד משלושת השוטרים בנתב"ג שהיו איתה במגע אמר לה, בנפרד: את לסבית, נכון?
אתם בוודאי שואלים את עצמכם האם החיפוש הזה של נוגה היה חוקי, מכוח מה ועל סמך מה. אם מצאו משהו במזוודה של נוגה, והוגש נגדה כתב אישום, עורך הדין מגיש בשמכם בקשה לקבלת חומר חקירה מכוח סעיף 74 לחוק סדר הדין הפלילי. אם לא מצאו כלום ואתם זועמים ומבקשים לדעת למה נוגה עברה חוויה כה משפילה בלי סיבה, אתם שוכרים יחצ"ן. כך או כך, אתם מגלים דבר מעניין. נוגה שלכם הייתה חלק מרשימה שמית שהועברה לבקרי הגבולות ומקורה במשטרת ישראל, המאפשרת להם לערוך על גופו ובכליו של ה"מוכלל" חיפוש. מי הכין את הרשימה? לפי איזה נוהל הפעלה? איפה ההסמכה בחוק?
כעת נניח שאתם מגלים, אחרי כל ההתחמקויות וצווי איסור הפרסום, שהתשובה היא שמכונה מבוססת בינה מלאכותית שחוזה סטטיסטית את המעורבות הפוטנציאלית בעבירות סמים של נוסעים שנכנסים לישראל, הכינה את הרשימה. אתם לא יודעים מהיכן המכונה שואבת את המידע שעליו היא מתאמנת, איך היא יוצרת את החיזוי הסטטיסטי ואיזה משקל היא מעניקה לכל נתון. איך הבת שלכם, ללא עבר פלילי, נכנסה לרשימה הנעלמה? ייתכן שיש הרבה נתונים שהמערכת לוקחת בחשבון. למשל נטייה מינית, או עמדה פוליטית, נתוני מיקום, פעילות ברשתות חברתיות. ביג דאטה, קופסה שחורה, אתם יודעים.
עד כמה שהסיפור מפתיע, המערכת המתוארת, פחות או יותר, נמצאת במרכזם של כמה הליכים פליליים חסויים אבל ידועה כבר גם לתקשורת, לארגוני חברה אזרחית וגם לחברי כנסת. יו"ר ועדת החוקה של הכנסת, ח"כ שמחה רוטמן, פנה כבר בנובמבר למשטרה לקבל פרטים נוספים ואף כינס באחד השבועות האחרונים דיון בוועדה בעניין זה. אבל, שורש הסיפור הוא שאנחנו נתקלים שוב ושוב בדגם חוזר מטריד, שאיננו קשור רק למערכות "שיטור מנבא".
בדגם הזה חזינו גם בפרשת "עין הנץ" (מערכת לזיהוי לוחיות רישוי שהמשטרה פרשה בכבישים בלי הסמכה בחוק ונאלצה להפסיק את השימוש בה בהוראת בג"ץ עד ליצירת מסגרת חקיקה), ובפרשת השימוש ברוגלות (למעלה מאלף הדבקות של מכשירים סלולריים מרחוק למערכת ששאבה את תכולת הטלפון והתברר בדו"ח ועדת מררי שפעלה ללא הסמכה וללא איזונים ובלמים). מדובר בדגם שלפיו המשטרה רוכשת מערכות טכנולוגיות מבלי שמתקיימים דיון ציבורי ודיון מקצועי מספק לגביהן, והדברים מתגלים רק בדיעבד. הדיון הציבורי אמור להתקיים בכנסת, ולעסוק במשמעויות של שימושים במערכות טכנולוגיות וליכולת לדמיין את האפשרויות החדשות שהן מביאות איתן. זה דיון מוסרי הנוגע לשלד השיטה ולהשלכות של שימושים טכנולוגיים על יחסי הכוח בין הרשויות ועל תהליכים חברתיים. אבל לפני הדיון הציבורי וגם אחריו צריך להתקיים דיון מקצועי. ומה שעולה מן הדגם המטריד הוא שמשטרת ישראל איננה מבצעת עבודת מטה מספקת ומסודרת הבוחנת את מידת ההתאמה של הטכנולוגיה שבה מבקשים להשתמש לדין הקיים; איננה מבצעת תסקיר סיכונים (Regulatory Impact assessment) מספק לבחינת ההשלכות של אימוץ הטכנולוגיה הזו על זכויות האדם והאזרח; ואיננה מנסחת נהלי הפעלה מפורטים עוד טרם השמשת הטכנולוגיה. בנוסף, המשטרה איננה מקיימת הערכה רוחבית לאחר השמשת המערכת על מנת לזהות יעילות או כשלים בשימוש בו, וממילא הערכה כזאת איננה מגיעה במעלה הארגון אל גופי הבקרה הפנימיים והחיצוניים.
מערכות טכנולוגיות, בוודאי כאלה שהן מבוססות למידת מכונה, אינן "רעות" או "טובות" בהכרח. ואולם לעיצובן ולפיתוחן של טכנולוגיות, ולהקשר שבו הן משמשות, ביחוד בתחומי יישומים באכיפת חוק ושיטור, יש השפעה כה רבה עד כי האיחוד האירופי וגם האו"ם מציעים לאסור כליל על השימוש בהן, למשל מערכות לזיהוי פנים, מערכות מעקב חודרניות ומערכות לחיזוי פשיעה. בדק הבית הנדרש בתוך מערכות אכיפת החוק בישראל, והמערכות המפקחות עליהן – היועץ המשפטי לממשלה, בתי המשפט וגם הכנסת – רחב ועמוק מטיפול פרטני בכל סוגיה בפני עצמה. אחרת, נמצא את עצמנו בעולם שבו זכויותינו ניטלות – בסתר; השימוש במערכות – אינו מפוקח; ועוצמת האכיפה של המדינה מגיעה אלינו בנסיבות ובדרכים שאיננו משערים את היקפן ועצמתן.
המאמר פורסם לראשונה במגזין TheMarker