אפקט העדר: אלפי סוכני AI הצליחו להתכנס בלי מנהיג ובלי הוראה

מערכות בינה מלאכותית עתידיות עשויות לא לפעול כסוכן בודד אלא כקבוצות של מאות ואלפי סוכנים שמחלקים ביניהם משימות ומקבלים החלטות יחד. מחקר שפורסם (14.8.26) ב-Science Advances מצא כי קבוצות כאלה מסוגלות להתארגן ולהגיע להסכמה גם בלי מנהיג, בלי מנגנון פיקוד ובלי תמריץ מפורש להסכים.

החוקרים ג'ורדנו דה מרצו, קלאודיו קסטלנו ודיוויד גרסיה בחנו כמה משפחות של מודלי שפה בניסוי פשוט ומכוון: כל סוכן היה צריך לבחור בין שתי אפשרויות, לאחר שנחשף לבחירות של סוכנים אחרים. האפשרויות עצמן יכלו להיות שרירותיות וחסרות משמעות. למרות זאת, נוצר דפוס עקבי שבו הסוכן נטה לבחור במה שכבר בחר הרוב.

הרוב מושך גם כשהבחירה חסרת משמעות

החוקרים כינו את העוצמה שבה הסוכן נמשך לעמדת הרוב "כוח הרוב". ככל שהיתרון של אחת האפשרויות בתוך הקבוצה היה ברור יותר, גדל הסיכוי שהסוכן הבא יאמץ אותה.

התוצאה החשובה היא שלא היה צורך בטיעון, בעובדות או בדיון ענייני. די היה בכך שסוכן ראה שרוב האחרים בחרו אפשרות מסוימת כדי להגדיל את הסיכוי שילך בעקבותיהם. כך יכולה העדפה מקרית קטנה בתחילת התהליך להתעצם בהדרגה ולהפוך לקונצנזוס של הקבוצה כולה.

ככל שהמודל חזק יותר - הקבוצה יכולה להיות גדולה יותר

"כוח הרוב" נחלש ככל שמספר הסוכנים גדל. בשלב מסוים מגיעה הקבוצה לגודל קריטי שמעליו כבר קשה לה להגיע להסכמה יציבה.

אלא שהגודל הקריטי הזה היה שונה מאוד בין המודלים. ככל שהמודל היה מתקדם יותר, כך נשמרה ההתכנסות גם בקבוצות גדולות יותר. במחקר נמצא שבמודלים מתקדמים הגודל הקריטי יכול לעבור את רף 1,000 הסוכנים.

ב-Claude 3.5 Sonnet לא נמצאה נקודת השבירה גם ב-1,000 סוכנים, הגודל המרבי שנבדק באותם ניסויים. גם GPT-4 Turbo הציג יכולת תיאום בקנה מידה המתקרב לרף הזה.

היתרון יכול להפוך במהירות לסיכון

מבחינה הנדסית, התכונה הזאת יכולה להיות שימושית מאוד. קבוצה גדולה של סוכנים יכולה לתאם פעילות בלי מערכת פיקוד מרכזית ובלי שכל סוכן יצטרך לתקשר עם כל האחרים. הדבר עשוי להתאים למשימות כמו חלוקת עבודה, תכנון, כתיבת קוד או הפעלת מערכות אוטונומיות רבות.

אלא שהמנגנון אינו יודע אם הרוב צודק. אם יתרון ראשוני לאחת האפשרויות נוצר במקרה, בגלל מידע שגוי או בעקבות הטיה, סוכנים נוספים עלולים לאמץ אותה רק משום שהיא כבר מובילה. כך השגיאה אינה בהכרח מתוקנת באמצעות "חוכמת ההמונים" - היא עלולה דווקא להתחזק.

יותר סוכנים אינם בהכרח יותר ביקורת

זו אחת המשמעויות החשובות של המחקר. קל להניח שמערכת שבה כמה סוכנים בודקים זה את זה תהיה אמינה יותר ממודל יחיד. אבל אם הסוכנים מושפעים מאותם דפוסים ומחזקים את הבחירות של האחרים, הגדלת מספרם אינה מבטיחה עצמאות מחשבתית.

במערכת רפואית, פיננסית, ביטחונית או ממשלתית, למשל, כמה סוכנים עלולים להיראות כאילו הם הגיעו באופן עצמאי לאותה מסקנה, בעוד שבפועל הם נסחפו בהדרגה אחר רוב שנוצר בתוך המערכת.

גם אלף מסכימים יכולים לטעות

הממצא מחדד הבדל חשוב בין הסכמה לבין נכונות. מערכת יכולה להגיע לקונצנזוס יציב מאוד, ועדיין הקונצנזוס יהיה שגוי.

מבחינת בטיחות, השאלה לכן אינה רק אם סוכני AI מסוגלים לתאם ביניהם, אלא כיצד מונעים מצב שבו כולם מאמצים את אותה טעות. פתרונות אפשריים עשויים לדרוש יצירת סוכנים בעלי מקורות מידע שונים, מודלים שונים או מנגנונים שמתגמלים התנגדות ובדיקה עצמאית - אך המחקר הנוכחי לא בדק פתרונות כאלה.

לא "חברה" של רובוטים חושבים

יש גם גבול ברור למה שניתן להסיק. הניסוי היה מופשט מאוד: בחירה בין שתי אפשרויות תחת מידע מוגבל על בחירות של אחרים. הוא אינו מוכיח שאלפי סוכנים יגיעו באותה קלות להסכמה במשימות אמיתיות ומורכבות.

במערכות בעולם האמיתי יהיו לסוכנים זיכרון, מטרות שונות, כלי חיפוש, מידע סותר ולעיתים מודלים שונים לחלוטין. לכן המספר 1,000 אינו "חוק טבע" של מערכות AI, אלא תוצאה שנמדדה בתנאי הניסוי.

גם ההשוואה ליכולת התיאום של בני אדם אינה אומרת שמודלי השפה מבינים לחץ חברתי או קונצנזוס כפי שבני אדם מבינים אותם. מדובר בדמיון בדינמיקה המתמטית, לא בהוכחה להתנהגות חברתית אנושית.

האתגר הבא: לגרום לסוכנים לחלוק

ככל שמערכות מרובות-סוכנים נכנסות לשימוש, המחקר מצביע על בעיה חדשה: ייתכן שלא יהיה די להוסיף עוד "בודקים" ו"מאמתים" לאותה מערכת. אם כולם נוטים ללכת אחרי הרוב, דווקא מחלוקת מבוקרת ועצמאות בין הסוכנים עשויות להפוך למרכיב בטיחות חשוב.

המסקנה בשלב זה היא שקבוצות גדולות של סוכני AI יכולות לפתח הסכמה באופן ספונטני באמצעות הליכה אחרי הרוב, ובמודלים מתקדמים המנגנון נשמר בקנה מידה של יותר מ-1,000 סוכנים - יכולת שעשויה לסייע בתיאום, אך גם להפוך טעות מקומית לקונצנזוס רחב.