הבינה הרפואית התקרבה למומחה באבחון נגעים בפה

מערכת בינה מלאכותית המסתמכת על מקורות רפואיים התקרבה לביצועיו של מומחה לרפואת הפה באבחון נגעים - בעוד מערכות בינה כלליות הציגו ביצועים נמוכים ולא אחידים. כך עולה ממחקר ישראלי חדש של חוקרים מאיכילוב ומאוניברסיטת תל אביב, שפורסם (12.8.26) ב-Scientific Reports.

החוקרים השתמשו במאגר של 100 נגעים ברירית הפה, שכל אחד מהם אובחן באופן סופי באמצעות בדיקה היסטולוגית לאחר ביופסיה. כמה מערכות בינה מלאכותית קיבלו את אותם המקרים ואת אותו נוסח פנייה, ותוצאותיהן הושוו לביצועים קודמים של מומחה לרפואת הפה ושל ChatGPT-4 על אותו מאגר.

66% למערכת הרפואית, 70% למומחה

המומחה האנושי השיג את התוצאה הגבוהה ביותר - 70%. אחריו ניצבה OpenEvidence, מערכת המיועדת לשימוש רפואי ומבוססת על מקורות קליניים, עם 66%.

לעומת זאת, ביצועי מודלי השפה הכלליים היו מפוזרים מאוד: שיעור ההצלחה נע בין 7% בלבד ל-51%. החוקרים מציינים כי הדבר ממחיש שהתקדמות מהירה של מודלי בינה מלאכותית אינה מתורגמת בהכרח לשיפור אחיד ביכולת האבחון הרפואית.

עם זאת, גם 66% דורשים פרשנות זהירה. "אבחנה נכונה" במחקר לא חייבה שהמערכת תבחר את המחלה הנכונה כאפשרות הראשונה. די היה בכך שהאבחנה שאושרה בביופסיה הופיעה בין שלוש האבחנות הראשונות שהציעה.

בסרטן הרגישות הייתה גבוהה - לפעמים מדי

כמה מהמערכות הגיעו לרגישות של עד 100% בזיהוי נגעים ממאירים. לכאורה מדובר בתוצאה מצוינת, אבל לעיתים היא באה עם סגוליות נמוכה יותר - כלומר המערכת סימנה גם נגעים שאינם סרטניים כחשודים.

הביצועים היו טובים יותר בנגעים ממאירים, ופחות טובים בנגעים תגובתיים ובנגעים בעלי פוטנציאל ממאיר. המשמעות היא שמערכת יכולה להצטיין ב"לא לפספס סרטן", אך בו בזמן לייצר מספר גדול יחסית של התרעות שווא.

היתרון של בינה שמבוססת על רפואה

זהו אולי הממצא החדשותי המרכזי במחקר. לא כל מערכות הבינה המלאכותית השתפרו באותה מידה. מערכת שתוכננה לעבודה עם מידע רפואי מבוסס ראיות התקרבה לביצועי מומחה, בעוד המודלים הכלליים נותרו הרבה פחות יציבים.

החוקרים מסיקים שבשלב הנוכחי מערכות כאלה עשויות להיות שימושיות ככלי עזר לבניית אבחנה מבדלת ולמיון ראשוני, אך לא כתחליף לרופא מומחה. ההסתייגות חשובה במיוחד כאשר קיים חשד לנגע ממאיר.

מחקר ישראלי מאיכילוב ואוניברסיטת תל אביב

המחקר נערך בידי חוקרים מהמחלקה לכירורגיית פה ולסת ומהיחידה לרפואת הפה במרכז הרפואי איכילוב, יחד עם חוקרים מהפקולטה למדעי הרפואה והבריאות ומבית הספר לרפואת שיניים באוניברסיטת תל אביב. המחקר אושר בוועדת האתיקה של איכילוב, והחוקרים הצהירו שאין להם ניגודי עניינים.

העבודה היא מחקר המשך: אותם 100 מקרים שימשו את הקבוצה גם בעבודה קודמת, והפעם המטרה הייתה לראות כיצד מערכות חדשות יותר מתמודדות עם אותו מבחן. היתרון בכך הוא האפשרות להשוות בין דורות של מערכות על בסיס זהה; החיסרון הוא שאין כאן מאגר קליני חדש ועצמאי.

עדיין לא מבחן של מרפאה אמיתית

המדגם קטן - 100 מקרים בלבד - והמחקר רטרוספקטיבי. בנוסף, המערכות לא נדרשו לקבל החלטה רפואית מלאה בזמן אמת מול מטופל, אלא להציע אבחנה מבדלת על בסיס המידע שנמסר להן.

לכן התוצאה אינה מוכיחה שהשימוש ב-OpenEvidence או במערכת אחרת ימנע פספוס של סרטן, יקצר את הדרך לביופסיה או ישפר את תוצאות הטיפול.

גם הפער של ארבע נקודות האחוז בין המומחה ל-OpenEvidence אינו מאפשר לקבוע שהמערכת "שוות ערך" למומחה. הניסוח המדויק הוא שהיא התקרבה לביצועיו במסגרת המבחן המסוים הזה.

המאמר פורסם בשלב זה בגרסה מוקדמת שעברה ביקורת עמיתים אך טרם עברה את העריכה הסופית של כתב העת.