רבע משאלות האתגר הכשילו את כל מודלי הבינה המלאכותית

המרוץ לבניית מודלי בינה מלאכותית גדולים יותר אינו מבטיח בהכרח תשובות אמינות יותר. מחקר חדש שפורסם ב-23.8.26 ב-Scientific Reports מצא כי הגדלת מספר הפרמטרים במודל שפה אומנם יכולה לשפר ביצועים, אך מעבר לגודל מסוים התמורה פוחתת במהירות - ולעיתים תכנון טוב יותר של מודל קטן יותר מעניק תועלת דומה לזו שמתקבלת מהגדלתו.

החוקרים בחנו שבעה מודלי שפה ממשפחות שונות, בגודל של מיליארד עד שבעה מיליארד פרמטרים. המטרה לא הייתה לבדוק מי "החכם ביותר" באופן כללי, אלא לבחון כיצד גודל המודל קשור לנטייה להפיק תשובות שגויות או לא מבוססות, ומה חלקם של גורמים אחרים כמו מבנה המודל, איכות נתוני האימון ושיטות ההתאמה שנעשו לאחר האימון.

כמעט רבע מההבדלים לא הוסברו בגודל

לפי החוקרים, גורמים שאינם קשורים ישירות למספר הפרמטרים הסבירו כמעט רבע מהשונות בביצועים. התוצאה אפשרה למודלים חדשים יחסית של שלושה מיליארד פרמטרים להגיע לרמה דומה לזו של מודלים קודמים בעלי שבעה מיליארד פרמטרים.

מבחינה מעשית, החוקרים מעריכים כי שיפור בתכנון של מודל בינוני העניק במקרים מסוימים תוספת ביצועים דומה לזו שניתן היה להשיג באמצעות הכפלת גודל המודל - אך תוך שימוש בערך במחצית ממספר הפרמטרים ובפחות משאבי חישוב.

המשמעות אינה שגודל אינו חשוב. מודל גדול יותר עשוי להכיל יכולת ייצוג גדולה יותר ולעיתים להשיג תוצאות טובות יותר. הממצא הוא שהגודל לבדו אינו מנבא היטב אמינות, ובמערך ההשוואה שנבדק היתרון של תוספת פרמטרים הצטמצם מאוד ככל שהתקרבו ומעבר לטווח של כשלושה מיליארד פרמטרים.

התמורה להגדלה הצטמצמה עד פי 16

אחד הממצאים הבולטים נגע ליעילות. כאשר החוקרים בחנו כמה שיפור מתקבל מכל תוספת של גודל, הם מצאו שבחלק מן ההשוואות התועלת השולית הצטמצמה עד פי 16.

במילים אחרות, המעבר ממודל קטן לבינוני יכול להביא שיפור משמעותי, אך לאחר נקודה מסוימת נדרשים הרבה יותר פרמטרים ומשאבי חישוב כדי להשיג תוספת קטנה יחסית באמינות. החוקרים רואים בכך אתגר לתפיסה שלפיה "גדול יותר הוא טוב יותר" כעיקרון מנחה בפני עצמו.

הנקודה מעניינת במיוחד על-רקע העלויות של הפעלת מערכות בינה מלאכותית. מודל גדול דורש יותר זיכרון, יותר כוח עיבוד ולעיתים יותר צריכת חשמל. אם מודל קטן ומתוכנן היטב יכול להשיג ביצועים דומים במשימה נתונה, עשויה להיות לכך משמעות כלכלית ותפעולית ניכרת.

רבע משאלות האתגר הכשילו את כולם

המחקר גם מצא מגבלה שלא נפתרה לא באמצעות גודל ולא באמצעות תכנון. כרבע מן השאלות שנבחרו במכוון כדי לאתגר את המודלים הכשילו את כל שבעת המודלים שנבדקו.

הקושי היה בולט במיוחד בשאלות שדרשו כמה שלבים של היסק ובמשימות שבהן צריך לעקוב במדויק אחר רצף זמנים או אירועים. החוקרים רואים בכך עדות לכך שקיימים כשלים משותפים למודלים שאינם נפתרים פשוט באמצעות הוספת עוד פרמטרים.

עם זאת, המספר 25% אינו אומר שרבע מכל שאלה שמשתמש רגיל ישאל בינה מלאכותית תיענה באופן שגוי. מערך השאלות במחקר נבנה במיוחד כדי לחשוף חולשות, ולכן מדובר בשיעור הכישלון בתוך מבחן מאתגר ולא בשיעור "הזיות" ממוצע בשימוש יום-יומי.

מהי בכלל "הזיה" במחקר כזה

המונח "הזיה" בבינה מלאכותית משמש בדרך כלל לתשובה שנשמעת בטוחה ומשכנעת אך אינה נכונה או אינה נתמכת במידע אמין. המחקר בחן אמינות באמצעות שאלות שבהן ניתן היה לקבוע אם התשובה נכונה או שגויה ולהשוות בין המודלים באופן שיטתי.

אלא ש"הזיה" אינה תופעה אחת. מודל יכול להמציא עובדה, לטעות בחישוב, לאבד פרט ברצף זמנים או להסיק מסקנה שאינה נובעת מן הנתונים. העובדה שמודל גדול יותר טוב יותר בחלק מן המשימות אינה מבטיחה שהוא פחות מועד לכל סוגי הטעויות.

המחקר מדגיש לכן כי מדידת אמינות מחייבת להסתכל מעבר למספר הפרמטרים ולבחון גם כיצד המודל אומן, אילו נתונים שימשו אותו וכיצד הותאם להתנהגות הרצויה.

המחקר לא בדק את מודלי הדגל

זו ההסתייגות החשובה ביותר. שבעת המודלים שנבדקו היו קטנים ובינוניים יחסית - מיליארד עד שבעה מיליארד פרמטרים. המחקר לא בחן את מודלי הדגל העכשוויים של OpenAI, גוגל, אנתרופיק או חברות אחרות.

לכן אין ממנו בסיס לקבוע שמודל של שלושה מיליארד פרמטרים יכול להשתוות ל-GPT, Gemini או Claude המתקדמים ביותר, או שמודל דגל גדול אינו נהנה מיתרון משמעותי במשימות מורכבות.

יתרה מזאת, ההשוואה נעשתה בין מודלים ממשפחות ומדורות שונות. מודל חדש של שלושה מיליארד פרמטרים עשוי ליהנות מנתוני אימון טובים יותר, מבנה מתקדם יותר ושיטות התאמה משופרות לעומת מודל ישן של שבעה מיליארד. לכן אי-אפשר לפרש את ההבדלים כניסוי נקי שבו רק מספר הפרמטרים השתנה.

למחקר יש זווית ישראלית טבעית משום שארגונים בישראל מטמיעים במהירות כלי בינה מלאכותית אך לא תמיד יכולים או רוצים להפעיל את המודלים הגדולים ביותר.

במערכות ממשלתיות, ביטחוניות, רפואיות ועסקיות קיימת לעיתים חשיבות לכך שהמידע יישאר בתוך הארגון. מודלים קטנים יותר ניתנים להרצה בקלות יחסית על תשתיות מקומיות, ומחייבים פחות כוח חישוב וזיכרון.

אם משימה ממוקדת יכולה להתבצע היטב באמצעות מודל קטן שעבר התאמה איכותית, אין בהכרח הצדקה לשלם את עלות ההפעלה של מודל גדול בהרבה. גם רשות החדשנות כבר הצביעה השנה על מעבר בתעשיה מהתמקדות בגודל בלבד לשיפור תהליכי ההתאמה וההפעלה של מודלים.

מן הצד האחר, החיסכון אינו יכול לבוא על חשבון בדיקות אמינות. העובדה שכל שבעת המודלים נכשלו בחלק מאותן שאלות מראה שגם מודל יעיל מאוד דורש מנגנוני אימות, מקורות מידע חיצוניים ולעיתים ביקורת אנושית.

לא הוכחה ש"קטן טוב יותר"

הכותרת המדעית של המחקר מדגישה כי יעילות התכנון יכולה לגבור על קנה המידה בהפחתת הזיות, אך גם החוקרים אינם טוענים כלל שקטן תמיד טוב יותר.

המחקר מראה שבתוך קבוצת המודלים שנבדקה, שיפור בארכיטקטורה, בנתוני האימון ובהתאמה יכול לפצות על חלק מן היתרון שמעניק גודל. הוא אינו מבטל את חוקי ההגדלה של מודלי שפה, ואינו בוחן כיצד התוצאה משתנה כאשר עוברים לעשרות או מאות מיליארדי פרמטרים.

לכן המסקנה המדויקת יותר היא שמספר הפרמטרים אינו מדד מספיק לאמינות, ולא שמודלים קטנים עדיפים באופן כללי.