בעיה בכתיבה המדעית: המחקר מצא רק קשר - אבל החוקרים כתבו כאילו מצאו את הסיבה

האם המחקר באמת הראה שדבר אחד גרם לאחר - או רק ששניהם מופיעים יחד? מחקר חדש מעלה כי ההבחנה הזאת, מהחשובות ביותר במדע, מיטשטשת במספר עצום של מאמרים במדעי החברה - ולעיתים אף מיטשטשת עוד יותר כאשר בינה מלאכותית מתבקשת לסכם אותם.

חוקרים מאוניברסיטת פנסילבניה ניתחו 194,631 מאמרים בתחומי עסקים, כלכלה, פסיכולוגיה, מדע המדינה וסוציולוגיה, שפורסמו בין 1980 ל-2024 והסתמכו באופן בלעדי על מחקרי חתך. הם מצאו כי 46.3% מהמאמרים כללו בכותרת או בתקציר טענה סיבתית הנוגעת לתוצאות המחקר.

מ-20% ליותר מ-60%

המגמה לאורך השנים הייתה חדה במיוחד.

עד שנת 2000 שיעור מחקרי החתך שבהם זוהתה לשון סיבתית נותר יציב יחסית סביב 20%. לאחר מכן החל לעלות במהירות, וב-2024 כבר עבר את רף 60% - כמעט פי שלושה בתוך פחות מרבע מאה.

החוקרים הגדירו מראש מחקרי חתך ככאלה שבהם המשתנים נמדדים בנקודת זמן אחת, ללא רכיב אורכי, ניסויי או מעין-ניסויי. מחקר כזה יכול להראות ששני משתנים מופיעים יחד, אבל בדרך כלל אינו יכול לקבוע מה קדם למה או לשלול לחלוטין גורם שלישי שמסביר את שניהם.

המחקר לא כלל שיטות תצפיתיות מיוחדות, כמו משתני עזר או רגרסיית אי-רציפות, שיכולות בתנאים מסוימים לתמוך בהסקה סיבתית. בכך ניסו החוקרים לצמצם ככל האפשר מצבים שבהם ניסוח סיבתי עשוי להיות מוצדק למרות היעדר ניסוי אקראי.

עסקים בראש הרשימה

התופעה הופיעה בכל חמשת התחומים שנבדקו, אך בעוצמה שונה.

ב-2024 זוהתה לשון סיבתית ב-84% ממחקרי החתך בתחום העסקים. בכלכלה עמד השיעור על 67%, בפסיכולוגיה על 55%, במדע המדינה על 53% ובסוציולוגיה על 46%.

גם כתבי עת יוקרתיים לא היו חסינים. החוקרים מצאו שהשימוש בלשון סיבתית הופיע בשיעורים משמעותיים גם בכתבי העת המובילים, ובממוצע היה אפילו נפוץ מעט יותר בכתבי עת בעלי מקדם השפעה גבוה.

כלומר, אין מדובר רק בתופעה של כתבי עת שוליים או מחקרים באיכות נמוכה.

הקוראים השלימו את הסיבתיות בעצמם

בשלב הבא ביקשו החוקרים לדעת אם הבחירה במילים באמת משנה את האופן שבו הציבור מבין מחקר.

לשם כך גויסו 1,105 משתתפים, שחולקו באקראי לכמה תנאים וקראו אחד מ-28 תקצירי מחקרים שפורסמו בכתבי עת מובילים. חלק קראו את התקציר המקורי, אחרים קיבלו גרסה שבה הניסוחים הסיבתיים הוחלפו בלשון המתארת קשר בלבד, וקבוצות נוספות קיבלו גם הערה מתודולוגית או אזהרה מפני הסקה סיבתית.

הבדלים בניסוח אכן השפיעו.

כאשר התקציר נוסח בלשון של קשר בלבד, או כאשר צורפה אליו הבהרה מתודולוגית, המשתתפים נטו פחות לומר שהמחקר סיפק ראיות לסיבתיות.

אבל גם אחרי התיקון נותרה נטייה חזקה להסיק סיבה.

71% השתמשו בעצמם בלשון סיבתית

כאשר המשתתפים התבקשו לסכם בעצמם את המחקר, 71.3% מהסיכומים שנכתבו לאחר קריאת התקציר המקורי כללו ניסוח סיבתי.

כאשר התקציר שוכתב במפורש ללשון שאינה סיבתית, השיעור ירד ל-49.6%. עם הערה מתודולוגית הוא עמד על 64.2%, ועם אזהרת בינה מלאכותית על 59.4%.

כלומר, אפילו כאשר הטקסט המדעי עצמו נזהר, כמחצית מהקוראים עדיין הפכו את הקשר לסיבה כאשר תיארו אותו במילים שלהם.

החוקרים רואים בכך עדות לכך שהבעיה אינה נובעת רק מהמחברים. לבני אדם עצמם יש נטייה אינטואיטיבית לפרש קשרים כסיבתיים.

ואז נכנסה הבינה המלאכותית

בשלב נוסף בדקו החוקרים מה קורה כאשר מודל שפה מסכם את אותם מחקרים.

בניסוי הראשון קיבל GPT-4.1 את אותם תקצירים שהוצגו למשתתפים האנושיים. כאשר קיבל את הנוסח המקורי, 99.3% מהסיכומים שלו הכילו טענה סיבתית.

שכתוב התקציר ללשון שאינה סיבתית הוריד את השיעור ל-89.8% בלבד. הוספת הערה מתודולוגית הפחיתה אותו ל-41.7%, ואזהרה מפורשת מפני הגזמה סיבתית הורידה אותו ל-30.3%.

כלומר, מודל השפה הגיב היטב לאזהרות מפורשות - אבל בלי הנחיה כזאת נטה כמעט תמיד לשמר או לייצר מסגור סיבתי.

חמישה מודלים נבדקו

החוקרים הרחיבו את הבדיקה לחמישה מודלים: GPT-4.1, GPT-5.1, GPT-5.4, DeepSeek Chat-V3.2 ו-Claude Sonnet 4.6.

לכל מודל הוצגו 100 מאמרים בארבעה סוגי הנחיות: סיכום רגיל, סיכום בשפה פשוטה, סיכום המתמקד בהשלכות המעשיות וסיכום "זהיר" המתבקש להדגיש את מגבלות שיטת המחקר. בסך-הכל נותחו 2,000 סיכומים.

התוצאה הייתה תלויה מאוד בניסוח הבקשה.

בהנחיית סיכום רגילה, GPT-4.1 ו-DeepSeek ייצרו שיעור גבוה משמעותית של טענות סיבתיות לעומת המאמרים המקוריים. במודלים האחרים לא נמצא פער מובהק לאחר תיקון לריבוי בדיקות.

אבל כאשר המודלים התבקשו לפשט את הטקסט או להתמקד במה שניתן לעשות בעקבות הממצאים - שיעור הטענות הסיבתיות עלה בכל חמשת המודלים.

דווקא הקיצור והפישוט מסוכנים

זהו אולי אחד הממצאים המעניינים ביותר עבור עיתונאים.

כאשר מבקשים ממודל שפה "להסביר בפשטות", "לכתוב בקצרה" או "לומר מה המשמעות המעשית", הוא נדרש להסיר חלק מהמורכבות המדעית.

אלא שלעיתים המורכבות שנעלמת היא בדיוק ההסתייגות החשובה: "קשור ל-", "עשוי להיות", "לא ניתן לקבוע סיבתיות".

במקומה עלולה להופיע גרסה קלה יותר לקריאה אך חזקה יותר מדעית: "גורם ל-", "מעלה", "משפיע" או "מפחית".

כך פעולה שנראית כמו עריכת לשון בלבד יכולה לשנות למעשה את המשמעות המדעית.

אפשר ללמד את המודל להיזהר

החדשות הטובות הן שהבעיה לא הייתה בלתי נמנעת.

כאשר החוקרים השתמשו בהנחיה "זהירה", שהתמקדה במגבלות המתודולוגיות של המחקר, שיעור הלשון הסיבתית הבלתי מסויגת ירד בממוצע לכ-5% בחמשת המודלים, אם כי הירידה לא הייתה מובהקת באותה מידה ב-GPT-4.1.

המסקנה המעשית היא שהנחיות למודל חשובות מאוד. בקשה כללית ל"סיכום קצר וברור" אינה שקולה לבקשה "סכם בלי להסיק סיבתיות מעבר למה שהמחקר מאפשר".

המודלים החדשים לא היו זהים לישנים

גם בתוך אותה משפחת מודלים נמצאו הבדלים.

החוקרים מציינים במפורש כי GPT-5.4 כבר לא הראה בחלק מהבדיקות את אותה נטייה שנמצאה קודם לכן ב-GPT-4.1. לכן אין מקום לקבוע שבינה מלאכותית "תמיד" הופכת קשר לסיבה או שכל המודלים מתנהגים באופן זהה.

המחקר עצמו מדגיש שמודלים משתנים במהירות, ולכן התוצאות הן תמונת מצב של המערכות שנבדקו בתקופת הניסוי.

גם קריאת המאמר המלא לא פתרה את הבעיה

החוקרים בדקו גם אם מתן המאמר המלא למודל, במקום הכותרת והתקציר בלבד, מונע את ההחמרה.

לא נמצאו הבדלים מובהקים בשיעור הלשון הסיבתית בין סיכומים שהתבססו על המאמר המלא לבין אלה שהתבססו רק על הכותרת והתקציר.

כלומר, עצם מתן מידע נוסף למודל אינו מבטיח שהסיכום יהיה זהיר יותר.

הבעיה מתחילה כבר באקדמיה

קל להאשים את העיתונות בכך שהיא הופכת ממצאים מורכבים לכותרות מוגזמות.

המחקר החדש מראה שהבעיה לעיתים מתחילה שלב אחד קודם.

כאשר כותרת המאמר המדעי או התקציר כבר משתמשים בביטויים המרמזים על סיבתיות, עיתונאי, דובר או מודל שפה מקבלים מראש מסגור חזק יותר מכפי שהשיטה מאפשרת.

החוקרים אף מצאו שבחלק מהמאמרים שבהם התקציר היה זהיר, בתוך הטקסט המלא הופיעו טענות סיבתיות ישירות יותר.

מדוע זה חשוב לעיתונות

ההבדל בין "אנשים שישנים פחות סובלים יותר מדיכאון" לבין "מחסור בשינה גורם לדיכאון" אינו עניין סמנטי.

במשפט הראשון ייתכן שהדיכאון גורם לבעיות שינה, שגורם שלישי משפיע על שניהם או שקיים קשר מורכב לשני הכיוונים.

המשפט השני כבר מציג מסלול סיבתי ודאי.

כאשר ההבדל הזה נעלם בכותרת חדשותית, הקורא מקבל מסקנה שהמחקר עצמו לא בהכרח הוכיח.

השלכות על מדיניות

החוקרים מזכירים כי בלבול כזה אינו נשאר תמיד בין דפי כתב העת.

המאמר מתאר מקרים שבהם ממצאים תצפיתיים פורשו כסיבתיים והגיעו למדיניות ציבורית. בין הדוגמאות שהם מביאים נמצאים מחקרים על הסיבות למלחמות אזרחים וכן מחקרים תצפיתיים מוקדמים על טיפול הורמונלי לאחר גיל המעבר ומחלות לב, שמחקרים אקראיים מאוחרים יותר הציגו לגביהם תמונה מורכבת ושונה.

הנקודה אינה שמחקרים תצפיתיים חסרי ערך. להפך - הם יכולים לספק ראיות חשובות, ליצור השערות ולהשתלב עם ידע ממקורות אחרים.

הבעיה מתחילה כשהכוח של המילים גדול יותר מכוח הראיות.

המספר 46.3% אינו אמת מוחלטת

המחקר עצמו משתמש בבינה מלאכותית כדי לסווג את הספרות, ולכן גם התוצאה שלו דורשת הסתייגות.

המסווג הראשוני המבוסס על GPT-4o הושווה לשיפוט מומחים ב-200 מאמרים והגיע לדיוק של 85%, עם F1 של 0.87. לאחר מכן אומן מסווג BERT על 30 אלף מאמרים ונבדק על עוד 10,000, שם הגיע לדיוק של 91% ול-F1 של 0.92.

לכן בהחלט ייתכנו מאמרים שסווגו שלא כהלכה.

עם זאת, קשה להסביר באמצעות שגיאות סיווג בלבד עלייה מכ-20% ליותר מ-60% לאורך השנים.

לא כל משפט סיבתי בהכרח שגוי

ישנה גם הסתייגות מהותית יותר.

מחקר חתך לבדו מתקשה מאוד להוכיח סיבתיות, אבל מאמר מדעי אינו מתקיים בחלל ריק. לעיתים טענה מסוימת נשענת גם על תיאוריה מבוססת, ניסויים קודמים, מנגנון ביולוגי או ראיות נוספות.

החוקרים עצמם מכירים בכך ומבהירים כי ראיה מתאמית יכולה לתמוך בטענה סיבתית שכבר נשענת על מקורות אחרים. לכן הם ניסו לסווג רק טענות סיבתיות שהוצגו כנגזרות מהנתונים שנבדקו במאמר עצמו.

מכאן שלא נכון לתאר את כל 46.3% כ"מחקרים שקריים" או כטענות שהוכחו כשגויות.

מחקר על בינה מלאכותית שהשתמש בבינה מלאכותית

יש כאן גם אירוניה מתודולוגית: כדי לבדוק כיצד בינה מלאכותית עלולה לעוות מסרים מדעיים, החוקרים נעזרו בעצמם במודלי שפה לניתוח הספרות.

אבל בדיוק בגלל הסיכון הזה הם לא הסתמכו על מודל יחיד בלבד. הסיווג עבר בדיקה אנושית, ולאחר מכן שוחזר באמצעות מסווג BERT נפרד.

החוקרים גם מציגים בפומבי את השיטות, את ההנחיות למודלים ואת בדיקות האימות.

מי מימן את המחקר

המחקר פותח במימון תוכנית SciFy של DARPA - הסוכנות לפרויקטי מחקר מתקדמים של משרד ההגנה האמריקני. Calvin Isch קיבל גם תמיכה מ-Institute for Humane Studies. לפי המאמר, המממנים לא היו מעורבים בתכנון המחקר, באיסוף הנתונים, בניתוח, בהחלטה לפרסם או בהכנת כתב היד.

המחברים הצהירו שאין להם ניגודי עניינים.

כלל פשוט: לבדוק מה המחקר באמת מסוגל להוכיח

הלקח מהמחקר אינו שאסור להשתמש במילים כמו "משפיע", "מעלה" או "מפחית".

הוא שהמילים האלה הן טענה מדעית בפני עצמן.

לפני שמשתמשים בהן צריך לשאול כיצד נאספו הנתונים, האם המשתתפים הוקצו באקראי, האם קיים סדר זמנים ברור, האם נשללו הסברים חלופיים והאם המחקר תוכנן כדי לזהות סיבתיות.

אותו כלל חל על חוקרים, עורכים, עיתונאים - וגם על בינה מלאכותית.