שימוש ביישומים רפואיים מבוססי בינה מלאכותית חייב להיות כפוף לרגולציה מפורטת
טכנולוגיות ה-AI הרפואיות עשויות לאיים על הזכויות לשוויון, לפרטיות ואף לחיים ושלמות הגוף. על ישראל להציב סטנדרט רגולטורי גבוה ביחס אליהן, כדי שלא להפוך ל"חצר אחורית" שמפתחת מערכות אסורות בשימוש.
Photo by Gorodenkoff/Shutterstock
אנו מברכים על כך שמשרד הבריאות מודע לצורך להתמודד עם מסגרת אסדרה לפיתוח טכנולוגיות מבוססות למידת מכונה. להלן, נתייחס למסמך העקרונות המנחים ונצביע על כמה סוגיות עקרוניות.
כפי שמצוין בתחילת המסמך, מדובר בתרגום מסמך עקרונות שפורסם באוקטובר 2021 על ידי מנהלי התרופות של ארה״ב, קנדה ובריטניה (Good Machine Learning Practice for Medical Device Deployment: Guideline Principles) https://www.fda.gov/medical-devices/software-medical-device-samd/good-machine-learning-practice-medical-device-development-guiding-principles. פרסום מסמך מבלי שנעשתה סביבו עבודת מטה באופן שישקף את התנאים הייחודיים במדינת ישראל, איננו נכון בעינינו. נעיר כי בחודשים האחרונים פורסמו מסמכים נרחבים ומעמיקים בנוגע לשימושי בינה מלאכותית במגזר הפיננסיד״ר ארי אחיעז ואח׳, ׳בינה מלאכותית במגזר הפיננסי: שימושים נפוצים, אתגרים וסקירה השוואתית של התמודדות רגולטורית׳, הוגש למשרד המשפטים במסגרת קול קורא, יולי 2022. ניתן למצוא ב: https://www.gov.il/BlobFolder/news/ai_report/he/AI_report.pdf ובמגזר הפרטיראה טיוטת מסמך שכותרתו ״מדיניות רגולציה ואתיקה בתחום הבינה המלאכותית בישראל״ שפורסם על ידי משרד המדע והטכנולוגיה שפורסם ביום 30 באוקטובר 2022 להערות הציבור. מפורסם ב: https://www.gov.il/BlobFolder/news/most-news20223110/he/Regulatory%20and%20ethics%20policy%20document%20in%20the%20field%20of%20artificial%20intelligence%20in%20IsraelAI.pdf שנכתבו בישראל, ומשקפים עבודת מטה יסודית כזאת ולכן יוכלו להוות בסיס לדיון ציבורי ומקצועי וגם לרגולציה עתידית. אנו סבורים שנכון שמשרד הבריאות יקים וועדת מומחים רב מגזרית שתעסוק בנושא ויביא בפני מקבלי ההחלטות בישראל מסמך בשל ומקיף יותר.
אנו סבורים כי העקרונות הנמצאים במסמך הם אכן עקרונות יסוד חשובים, המשקפים מושכלות יסוד בפיתוח מוצרים רפואיים ונמצאים בנהלים שונים מתחום האתיקה והפיקוח על מחקרים וניסויים רפואייםההסתדרות הרפואית בארה״ב עסקה רבות בנושא. כך ראה, למשל: Elliott Crigger & Christopher Khoury, Making policy on augmented intelligence in health care, 21 AMA J. Ethics 188–191 (2019); Ethical Considerations for Clinical Investigations of Medical Products Involving Children Guidance for Industry, Sponsors, and IRBs DRAFT GUIDANCE, https://www.fda.gov/vaccines-blood-biologics/guidance-compliance-regulatory-information- (last visited Jan 18, 2023); WMA STATEMENT ON AUGMENTED INTELLIGENCE IN MEDICAL CARE, https://ima-contentfiles.s3.amazonaws.com/wma-statement-on-augmented-intelligence.pdf. רובם מוזכרים גם בנייר העמדה שהופץ על ידי הבית הלבןBlueprint for an AI Bill of Rights | OSTP | The White House, , https://www.whitehouse.gov/ostp/ai-bill-of-rights/ (last visited Jan 18, 2023). ומופיעים גם בטיוטת החקיקה של האיחוד האירופי בנוגע לאסדרת בינה מלאכותיתProposal for a Regulation of the European Parliament and of the Council Laying Down Harmonised Rules on Artificial Intelligence (Artificial Intelligence Act) and Amending Certain Union Legislative Acts, COM(2021), Art 5(1) 206 (21.4.2021) available at: https://digital-strategy.ec.europa.eu/en/library/proposal-regulationeuropean-approach-artificial-intelligence (להלן: הצעת תקנות הבינה המלאכותית האירופיות). ואולם, בעת הזאת ולאור ההתפתחות המהירה והעצומה של מערכות לומדות בשנה האחרונה, לא ניתן להסתפק בעקרונות כלליים, רכים וחסרי יכולת אכיפה, ויש צורך להתחיל להניח את היסודות לאסדרה של התחום. עמדה זו הבענו גם לגבי המסמך שפורסם על ידי משרד המדע לפני חודשים אחדיםהמכון הישראלי לדמוקרטיה עמד על הצורך בצעדים קונקרטיים בשלבים אלה בהערותיו לטיוטת מסמך מדיניות רגולציית בינה מלאכותית שפורסם על ידי משרד המדע. את התייחסות המכון, עליה חתומים 2 מתוך כותבי מסמך זה, ראה כאן..
אכן, ברמה הגלובלית, השיח התיאורטי על אתיקה של בינה מלאכותית הניב מאות מסמכים.ר' בה"ש 4 לעיל ואולם, בתחילת שנת 2023, כאשר מתחילים להתבהר האתגרים הנלווים לשימוש במערכות לומדות, קריאה לאימוץ וולנטרי של מסגרת של כללים אתיים רחבים ובלתי מחייבים, על ידי התעשייה או רשויות הממשלה, היא עלה תאנה הממחיש הכרה מוסדית בקיומה של בעיה אך משולל גיבוי של מנגנוני פיקוח ואחריותיות משפטיים המאפשרים להתמודד איתה. בהינתן העובדה שכבר עתה משווקים מוצרים באופן מסחרי המבוססים על טכנולוגיות בינה מלאכותית – וביניהם אלגוריתמים בוראים (גנרטיביים),בין השאר, התפרסמו מוצרים כגון צ׳ט-בוט המסוגלים לנהל שיחה המדמה שיח אנושי ללא אפשרות זיהוי. לסקירה של מאמרים בנושא ניתן לעניין בפרסום של ארגון המהנדסים: Shi, Nuobei, Qin Zeng, and Raymond Lee. "Language Chatbot–The Design and Implementation of English Language Transfer Learning Agent Apps." 2020 IEEE 3rd International Conference on Automation, Electronics and Electrical Engineering (AUTEEE). IEEE, 2020. אלגוריתמים אף מסוגלים לייצר סרטונים ותמונות באופן מלאכותי, המפורסם ביניהם הוא Dall E2. ר' למשל Aditya Ramesh et al., Hierarchical Text-Conditional Image Generation with CLIP Latents, arXiv:2204.06125 אלגוריתמי זיהוי ביומטריים ועזרים רפואיים ופסיכולוגיים – לא ניתן להסתפק בשלב זה באימוץ עקרונות כלליים. מעבר לכך, משרדי בריאות אחרים בעולם, כגון משרד הבריאות בסינגפורראה כאן כבר פרסמו הנחיות מדויקות יותר לגבי פיתוח מוצרים מבוססי בלמידת מכונה.
פרסום מסמך שכל כולו עקרונות כלליים ייצור באופן אינהרנטי פער בין ישראל לבין מדינות מובילות בהן השיח כבר מתקדם לכדי הצעות חקיקה ורגולציה. גם במדינות בהן רגולציה כופה אינה בנמצא עדיין, מוסדות השלטון מביעים צורך בהגנה קשיחה על אינטרסים ציבוריים ועל זכויות אדם בזמן שימוש במוצרים מבוססי למידת מכונה.ר' כותרת מסמך האתיקה The White House, Office of Science and Technology Policy, Blueprint for an AI Bill of Rights: Making Automated Systems work for the American people (2022) https://www.whitehouse.gov/ostp/ai-bill-of-rights/ (להלן: AI BOR))
בנוסף, ללא אסדרה בחקיקה המבוססת על עקרון של ניהול סיכוניםמסמך המדיניות, פרק 6.1.2 (ג) לא ניתן לנהל דיון בשאלת "הקווים האדומים". יישומים ברפואה שהם מבוססי למידת מכונה יכולים לאיים על זכויות יסוד, כגון הזכות לשוויון ולקבלת טיפול באופן שוויוני, הזכות לפרטיות וכמובן לפגיעה בזכות לחיים ושלמות הגוף. משכך, במסגרת מדיניות של ניהול סיכונים יש להגדיר מהם הקווים האדומים ליישומי למידת מכונה – אם משום שקטגורית ישנם יישומים שפגיעתם בזכויות היא חמורה, ואם משום שישנם כאלה שהטכנולוגיה שלהם אינה בשלה עדיין על מנת שייעשה בה שימוש.
ישנן טכנולוגיות שתוחלת הסיכון שלהן גבוהה, בשלותן המדעית מוטלת בספק, ואי הוודאות בייחס להשפעותיהן החברתיות רבה. דוגמא לכך הן טכנולוגיות המתיימרות לזהות רגשות, שמפניהן הזהיר לאחרונה המפקח הבריטי על המידע (Information Commissioner Office).Immature biometric technologies could be discriminating against people’ says ICO in warning to organisations" ICO. (26.10.2022) https://ico.org.uk/about-the-ico/media-centre/news-and-blogs/2022/10/immature-biometric-technologies-could-be-discriminating-against-people-says-ico-in-warning-to-organisations/; Ifeoma Ajunwa, Automated Video Interviewing as the New Phrenology, 36 Berkeley Technology Law Journal 1173 (2021) איסורים קטגוריים על יישומים קונקרטיים של מערכות בינה מלאכותית הם חלק אינטגרלי מאסדרת בינה מלאכותית במדינות רבות, מתוך תפיסת ניהול סיכונים לפיה בהקשרים מסוימים תוחלת הסיכון הנשקפת מיישומי בינה מלאכותית מסוימים היא כה גבוהה, עד כי יש לאסור עליה כליל. תקנות הבינה המלאכותית האירופיות המוצעות כוללות קטגוריה של 'מערכות אסורות',לעיל, הערה 6. שנתפסות כמסוכנות באופן קיצוני ושאינן עולות בקנה אחד עם ערכי היסוד האירופיים, כגון מערכות העושות שימוש בטכניקות תת הכרתיות כדי לנצל חולשות אנוש, ויישומי זיהוי ביומטריים בזמן אמת. ללא אמירה מפורשת שגם פניה של מדינת ישראל לאסדרה, ותוך הסתפקות באסדרה רכה בלבד, לא ניתן יהיה לקיים דיון על הקווים האדומים של יישומי למידת מכונה בתחום הרפואה בישראל.
היעדר אסדרה במדינת ישראל כאשר תתקיים אסדרה באירופה ובמדינות מפותחות אחרות, עשוי להציב את ישראל כ"חצר אחורית". כאמור, בשנים האחרונות מתקיימת מגמה עולמית, בהובלת האיחוד האירופי, בה מקודמות הצעות לאסדרת בינה מלאכותית. גם אם קיים שוני ברמה הערכית בין ההסדרים במדינות שונות – אם בבחירת סוגי המערכות שמהן נשקף סיכון, ואם במטרות המוצהרות של החקיקה עצמה – יש בהן גם הרבה מן המשותף. לכן, ראוי שבמדינת ישראל תהיה חקיקה הנמצאת בהרמוניה עם המקובל בעולם. סטנדרט רגולטורי נמוך מהמקובל בעולם עשוי אמנם לעודד חדשנות, אך לאו דווקא חדשנות רצויה: ישראל עשויה להפוך ל'חצר אחורית" טכנולוגית, בה מפותחות מערכות האסורות בשימוש, פיתוח או פריסה לפי הדין הזר.כך למשל, חברות ישראליות או בבעלות ישראלית מובילות בפיתוח של מערכות סייבר התקפיות, השנויות במחלוקת (ב-2019 קרא הדווח המיוחד של האומות המאוחדות לחופש הביטוי להשעות באופן זמני את הסחר הבינלאומי והשימוש בהן. ר' Human Rights Council Forty-first session 24 June−12 July 2019 Agenda item 3 Promotion and protection of all human rights, civil, political, economic, social and cultural rights, including the right to development; Surveillance and human rights Report of the Special Rapporteur on the promotion and protection of the right to freedom of opinion and expression; A/HRC/41/35; Recommendations 66. כן ר' בנושא Amir Cahane, Targeting targeted surveillance - The UN special rapporteur's report on the private surveillance industry" CSRCL Blog (31.12.2021).. דוגמה אחרת היא תעשיית האופציות הבינאריות, שפעלה בישראל והציעה אופציות בינאריות למשקיעים מעבר לים, עד לחקיקת האיסור הפלילי על פעילות זו. ר' ס' 44יב1 לחוק ניירות ערך, תשכ"ח-1968, ס"ח 541 בעמ' 234; US v. Lee Elbaz, No. 20-4019 (4th Cir. 2022). לכן, לתפיסתנו, האיסורים על פיתוח ושימוש במערכות נבונות נדרשים להיות בהלימה עם המקובל בעולם, ובפרט עם הדין האירופי המתהווה, לבל תהפוך מדינת ישראל לחצר אחורית לניסויי כלים טכנולוגיים.
איננו קוראים לחקיקה מיידית אבל אנו סבורים שיש לנצל את תקופת האיפוק הרגולטורי לצורך גיבוש עמדות משפטיות וניסוח חקיקה – שאם לא כן כוחות השוק והמשפט המקובל יאסדרו את התחום, ולא בהכרח באורח המיטבי.Simon Chesterman, We the Robots? Regulating Artificial intelligence and the Limits of the Law 184-185 (2021) נדרשת אם כן גישה היברידית לחקיקה ורגולציה, המפעילה רגולציה רכה על מנת לזכות בגמישות עד לגיבוש הסדר סטטוטורי אבל לא כתכלית בפני עצמה.
לאור האמור, במסגרת חובתו כרגולטור ישראלי, הן כלפי המטופלים בישראל, הן כלפי ציבור הרופאים והן כלפי החברות המפתחות בישראל - על משרד הבריאות לפעול לקונקרטיזציה של ההנחיות המועברות למפתחים וליצרנים בישראל. זאת במטרה לסייע לחברות אלו לפתח מוצרים ביעילות ותוך שמירה על זכויות אדם בכלל, וזכויות המטופלים שהם קבוצת היעד של המוצרים שיפותחו.
כפי שמצוין במסמך העקרונות, קיומו של מאגר נתונים מגוון, רווי ומותאם, הוא חלק מהותי ביצירה של מערכת מבוססת בינה מלאכותית שתעמוד בסטנדרטים הנדרשים. עם זאת, אין בו התייחסות מספקת לאחת הסוגיות הבוערות בתחום הבריאות הדיגיטלית בישראל – המסגרת לאסדרת השימושים השניוניים במידע בריאות. כיום, למידת מכונה משמעה בראש ובראשונה שימוש במאגר נתונים. כאשר מדובר על נתונים שנאספו כחלק משגרת מערכת הבריאות מתיקים רפואיים של מטופלים, ההליך צריך להיעשות תוך הגנת זכותם החוקתית לפרטיות, המעוגנת גם בחוק זכויות החולה, ולאחר קבלת הסכמתם מדעת. בנוסף, נדרשים נהלים לגבי שמירת המידע והשימושים הנוספים בו וגם מסחר בו לאחר שנאסף. כידוע לכם, מערכת הבריאות התקדמה בתחום זה עד היום בשטח אפור, ללא הסמכה מפורשת בחוק וללא מסגרת רגולטוריות מתאימה. "החבאת" נושא הפרטיות לצד אבטחת מידע והקשרים אחרים של טיפול במאגרים, היא התעלמות מכך שכל אסדרה של למידת מכונה היא חלק מתצרף רחב יותר שנושא הפרטיות הוא חלק חיוני שלוראו גם: Sivan Tamir, Over or under-regulation of biomedical research: A comparative perspective and points to consider, The Israel academy of Science and Humanities, 2022..
עופרן וסימן טוב הראו במטה-מחקר שהתפרסם בספטמבר 2022 כיצד שימושים שניוניים במידע בריאות "זלגו" בעקבות הטמעת תקנות הגנה המידע האירופיות, למדינות מחוץ לאירופה שאין בהן חקיקת פרטיות מעודכנת.Yom-Tov E, Ofran Y. Implementation of data protection laws in the European Union and in California is associated with a move of clinical trials to countries with fewer data protections. 9 Frontiers in Medicine (2022) התנהלות חלקים מתוך משרד הבריאות במדינת ישראל בתקופת הקורונה, הפטור מהצורך בוועדות אתיקה במחקרים שנעשו על מידע בריאות של אזרחי ישראל וההימנעות מעמידה בכללים האתיים הקיימיםראו: תהילה שוורץ אלטשולר, שימוש שניוני במידע בריאות בזמן מגיפת הקורונה ולקחים לעתיד, בתוך: יהושע שמר, שמוליק בן יעקב ויוסי וייס (עורכים), חוק זכויות החולה – המהפיכה שטרם הושלמה, אסותא וידיעות ספרים, 2021, בעמ' 137-148., מלמדים כי חששות אלה הם חששות נכוחים.
נוסיף כי על פי מסמך המבקש ליצור מסגרת ניהול סיכונים לשם בחינה בעמידה בדרישות טיוטת חוק הבינה המלאכותית של האיחוד האירופי שפורסם באוניברסיטת אוקספורד, עולה כי הכשל האתי המרכזי בשימוש במוצרים מבוססי למידת מכונה הוא פרטיות. הכשל השני הוא חשש להטיות, וביחד אלו מהווים מחצית מכלל הכשלים שעלו לגבי תוכנות בינה מלאכותית בשנים האחרונותFloridi, Luciano and Holweg, Matthias and Taddeo, Mariarosaria and Amaya Silva, Javier and Mökander, Jakob and Wen, Yuni, capAI - A Procedure for Conducting Conformity Assessment of AI Systems in Line with the EU Artificial Intelligence Act (March 23, 2022). Available at SSRN: https://ssrn.com/abstract=4064091 or http://dx.doi.org/10.2139/ssrn.4064091.
תחום הבריאות הוא מקרה קונקרטי בו קיימת חשיבות יתרה למענה לבעיית ה״קופסה השחורה״,אודות בעיית הקופסה השחורה ראה: Uday Kamath , Liu, John,, Explainable artificial intelligence : an introduction to interpretable machine learning (2021), https://doi.org/10.1007/978-3-030-83356-5. האופיינית למערכות בינה מלאכותית. לדעתנו, יש ליצור מסגרת רגולטורית ובה חובות שקיפות כדי למתן בעיה זו.
מערכות לומדות המבוססות על היסקים סטטיסטיים ממאגר נתונים, מפיקות לעתים תוצרים שלא ניתן לנמק כיצד המערכת הגיעה אליהם. כתוצאה מהיבט מובנה זה, קיים חשש בדבר העדר היכולת לבצע בקרה נאותה על כשלים אפשריים של מערכות אלו. החשש הוא כי תחת מעטה הסטטיסטיקה עלולים להתחבא כשלים הנובעים, בין השאר, מהטיות של מאגר הנתונים או שימוש לקוי בו לצורך הסקת מסקנות סטטיסטיות שאינן מתחייבות או שאינן מקובלות בחברהMatthew Hutson, The Opacity of Artificial Intelligence Makes It Hard to Tell When Decision-Making is Biased, 58 (2) IEEE Spectrum 40.. מאחורי מסך העכירות שנוצר כתוצאה מהקופסה השחורה, יתקבל תוצר ללא אפשרות בקרה נאותה. דוגמאות להטיות בבינה מלאכותית התפרסמו סביב זיהוי תמונות שגוי ומפלה של כהי עור,דוגמה טובה לכך הוא אירוע התיוג השגוי של גברים כהי עור. על כך ראה כאן. אודות הקושי הכללי בתחום זה, ניתן לראות בדו״ח של מכון התקנים בארה״ב: NIST Evaluates Face Recognition Software’s Accuracy for Flight Boarding | NIST, , https://www.nist.gov/news-events/news/2021/07/nist-evaluates-face-recognition-softwares-accuracy-flight-boarding (last visited Jul 4, 2022). ואף בהקצאת אשראי מפלגה בין גברים לבין נשיםNikita Aggarwal, The norms of algorithmic credit scoring, 80 Camb. Law J. (2021).. כשלים אלו, שהיו תוצר של מאגרי נתונים מוטים או לחילופין הנציחו החלטות עבר שגויות במאגרי נתונים – התגלו רק בשלב מאוחר, ורק לאחר שנוצר נזק.
עולם הרפואה מכיר במציאות רפואית שהיא תוצר של הטיות, ודוגמה לכך היא כשלים באבחונים קרדיולוגים מותאמים לנשים והמאמצים לתקן סוגיה זוDouglas, P. S., & Ginsburg, G. S. (1996). The evaluation of chest pain in women. New England Journal of Medicine, 334(20), 1311-1315.. יש להקפיד, לפיכך, כי מכשול הקופסה השחורה לא יועתק לעולם הרפואה. כאשר מערכת בינה מלאכותית תמליץ על טיפול רפואי, למשל, יש לוודא כי היא אינה מנציחה כשלי עבר, או שאינה מפיקה המלצות מוטות, שאותן נגלה רק לאחר זמן.
לאור האמור לעיל, קיימת חשיבות יתרה במיסוד רגולטורי של מערכות להתגברות ולמיתון בעיית הקופסה השחורה. זאת, באמצעות יצירת שקיפות לכל היבטי הפיתוח וההפעלה של המערכת – החל מחובות דיווח על איכות מאגר הנתונים והליך בניית האלגוריתם, עובר דרך תקשור דרך פעולת המכונה למשתמשים השונים – רופאים וחולים כאחד, וכלה במנגנונים רגולטוריים הבוחנים את המשך פעילות התוכנה לאורך זמןטיוטת החקיקה של האיחוד האירופי עוסקת בפירוט בבחינה של תפקוד המערכת לאורך חייה התוכנה. לניתוח בעניין ראה: Mauritz Kop, EU Artificial Intelligence Act: The European Approach to AI, Transatlantic Antitrust and IPR Developments (2021).. מנגנונים אלה של שקיפות אלגוריתמית מהווים נדבך מרכזי בהבטחת אמינות התוכנה. כאשר הדבר אפשרי, יש לחייב אספקת הסבר רציונלי לתוצרי התוכנה, וכאשר הדבר אינו אפשרי בשל מגבלות טכנולוגיות, יש להבטיח כי חלופות יותקנו על מנת להבטיח את איכות פעילות התוכנהעל כך ראה: תהילה שוורץ אלטשולר וגדי פרל, מודל ליצירת שקיפות אלגוריתמית, הצעה לסדר 47, המכון הישראלי לדמוקרטיה 2022..
בנוסף לכך, מוצע כי משרד הבריאות ינחה את בתי החולים ליצור מערכת וולידציה קלינית אחידה וברורה לכל אלגוריתם של למידת מכונה לפני כניסתו לשימוש קליני בבתי החולים, שיכלול אחידות במדדים הנבדקים, חובות עדכוני גרסאות שיש בהן שינוי אלגוריתמידיון בנושא התנהל במינהל התרופות בארצות הברית. ראה: Babic, B., Gerke, S., Evgeniou, T., & Cohen, I. G. (2019). Algorithms on regulatory lockdown in medicine. Science, 366(6470), 1202-1204..
בכל הנוגע למבחנים לקבלת רישוי, אין כיום הכרעה קלינית ברורה לגבי הרף האיכותי הנדרש עבור מוצרים מבוססי בינה מלאכותית, המבקשים לשמש חלופה למוצר ״קלאסי״ קיים, ואין אבחנה האם מדובר בטיפול תרופתי או במודל מסייע לקבלת החלטות. אנו מציעים להסדיר עניין זה.
כיום, לחברה המפתחת מוצר המבוסס על בינה מלאכותית בתחום הרפואה, ובמיוחד כזה המתחרה במוצר ״קלאסי״ קיים, לא ברור האם על המוצר לעמוד ברף מינימלי מסוים על מנת שיהיה זכאי לרישיון שיווק, או שהמבחנים שתיאלץ לעמוד בהם יהיו ייחודיים עבור המוצר שהיא מפתחת. כך למשל, לא ברור האם יידרש להוכיח שהמוצר פועל בצורה טובה יותר מהמקביל ה״קלאסי״, או שמא מינהל התרופות ידרוש רף גבוה יותר, מיוחד ומותאם, שכן מדובר במוצר מבוסס בינה מלאכותית וחשש מפני רגישות לטעויות במוצרים מעין אלה גבוה יותר.
במצב זה, הכדאיות של פיתוח מוצר המבוסס על בינה מלאכותית איננה ברורה, שכן לא ברור מתי יתקבל מוצר לרישוי ומתי לא. זאת, על אף שקיים פוטנציאל למוצרים אלו גם כשהם נחותים במעט ממוצר קיים, וזאת בשל היכולת שלהם לתת מענה במקרים רבים, כגון כתחליף לרופא מומחה בהעדרו. כתוצאה מכך, קיימת אפליה בין חברות תרופות ״קלאסיות״ וחברות תרופות קיימות, בעלות היקף שוק ניכר, לבין חברות חדשות מתחום הבינה המלאכותית המעוניינות לפתח מוצרים חדשניים. בעוד חברות קלאסיות פועלות עם ודאות בנוגע לציפיות הבטיחות וההצלחה הנדרשות מהן, חברות טכנולוגיית בינה מלאכותית אינן נהנות מתנאים אלה.
אנו סבורים כי לאור אינטרסים ברורים הנוגעים לעידוד חדשנות ופיתוח תרופות יעילות, נדרשת הכרעה קלינית בנושא ובסוגיות שהועלו לעיל, ואנו ממליצים להסדר את הנושא ולתת תשובות לסוגיות אלו, בין השאר, באמצעות ועדה שתוקם בעניין בהשתתפות רגולטורים וקלינאיםיצויין כי מינהל התרופות בארה״ב עצמו כבר יזם מהלך לאסדרת הנושא. ראו: https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-and-machine-learning-software-medical-device.
השימוש במוצרים מבוססי למידת מכונה בזמן אינטראקציה אנושית של רופא וחולה, דורש גם הוא התייחסות מיוחדת. יש צורך לקבוע מסגרת הנחיות לגבי רמת היידוע של מטופל לגבי החלטות מבוססות למידת מכונה המשפיעות על הטיפול בו, ובכלל זה כי הרופא פועל בהתאם או בניגוד להמלצת המוצר; וכן לוודא באמצעות הסברה וסימולציות, כי רופאים מבינים את מערכת היחסים של "אדם לצד מכונה", ושל הליך קבלת ההחלטות במקרה של ״אי הסכמה״ בין המלצת התוכנה מבוססת מערכת בינה מלאכותית, לבין חוות דעתו המקצועית של רופא מטפל או של מומחה אחר.
אתגרים וחששות בתחום למידת מכונה, כגון התמודדות עם הטיות של מערכות מבוססות למידת מכונה או עם הצורך בשקיפות ו"אודיטינג" שלהן, קיימים גם בתחומים אחרים. אין צורך להמציא את הגלגל וניתן להשתמש בכללים שכבר נכתבו עבור מרחבים אחרים, כגון למשל אחריות נזיקית של רכב אוטונומיבהקשר זה, פורסם בשנת 2021 קול קורא של משרד המשפטים, המבקש לקבל את עמדות הציבור בנוגע לסוגיות נזיקיות אגב אסדרת רכבים אוטונומיים. ראה כאן. ניתוח לגבי הצורך באסדרה בארה״ב, ראה: Geistfeld, M. A. (2017). A roadmap for autonomous vehicles: State tort liability, automobile insurance, and federal safety regulation. Calif. L. Rev., 105, 1611.. כך או כך, התמודדות עם סוגיות אלה היא הכרחית כחלק מן המסגרת הרגולטורית הכוללת. בנוסף, קיים צורך בבחינה ועדכון של הסדרים קיימים בתחום הרישוי הרפואי, ממכשור רפואי ועד תרופות, כך שיתאימו לעולם החדש והמתפתח. למשל, האם הטיות של מכונות דומות לתופעות לוואי של תרופות וכיצד יש להתמודד עם טיפול רפואי שגוי או מזיק שניתן בהמלצת מערכת מבוססת למידת מכונהChallen R, Denny J, Pitt M, et al Artificial intelligence, bias and clinical safety BMJ Quality & Safety 2019;28:231-237..
מסגרת רגולטורית מתפתחת בנוגע למוצרים רפואיים מבוססי למידת מכונה היא צו השעה, משום שהוא חיונית לשם המשך קידום התעשייה, תוך הגנה על זכויות מטופלי מערכת הבריאות הן בעת יצירת המכונות והאימון שלהן והן בעת השימוש בהן לצורך טיפול ולצורך ייעול מערכות הבריאות. בהיעדר מסגרת כזאת יתעכב הפיתוח או שעלות הייצור תעלה. הסדרת ניהול המידע והגדרת רף האיכות הנדרש בפיתוח מערכות לומדות תקדם תחרות ותסייע לחברות הזנק אשר אין ברשותן מאגרי נתונים גדולים. אכן, רישוי מוצרים רפואיים מתבצע בעיקר על ידי מינהלי התרופות בארצות הברית ובאירופה, שמהווים גם את שווקי היעד העיקריים. ואולם, נדרשת פעולה אקטיבית ומעמיקה של משרד הבריאות להתאמת ההסדרים לתנאי הארץ ותושביה.