מה שרואים זה מה ששומעים

הניסיון להבין מה מספר לכם חבר כשאתם במרכז מסיבה רועשת יכול להיות אתגר לא קטן - אלא אם אתם מסוגלים לראות את פניו.

מחקר חדש מקולג' ביילור לרפואה ביוסטון והקולג' של ניו-יורק, הראה כי המידע הוויזואלי אותו אנו סופגים, יכול לשפר את הבנת המילים אותן אנו שומעים פי שישה.

המוח שלנו משתמש במידע ויזואלי הנגזר מתנועות הפנים והשפתיים כדי לעזור לנו לפרש את מה שאנו שומעים, ויתרון זה גובר כשאיכות הקול מתונה.

ממצאי המחקר פורסמו בעיתון "PLoS ONE".

רוב האנשים עם שמיעה נורמלית קוראים שפתיים היטב, אפילו אם הם לא מודעים לכך. ברמות רעש מסויימות, קריאת שפתיים יכולה להגביר את זיהוי המילים מדיוק של 10% ל-60%.

למרות זאת, כשהסביבה רועשת מאוד, או כשהקול אותו מנסים להבין חלש מאוד, קריאת השפתיים הופכת קשה.

לקרוא שפתיים

החוקרים גילו כי רמת קול מינימלית בלבד נדרשת כדי שקריאת השפתיים תהיה יעילה.

המחקר הנוכחי הוא הראשון שבדק זיהוי מילים בסביבה טבעית, בה אנשים מדווחים בצורה חופשית על מה שהם סבורים שנאמר. ניסויים קודמים השתמשו רק ברשימה מוגבלת של מילים מהם התבקשו המשתתפים לבחור מילים מסויימות.

הנתונים מקריאת השפתיים עזרו למדענים להבין כיצד המוח משלב שני סוגים שונים של גירויים כדי להגיע למסקנה הסופית [של מה שנאמר].

החוקרים יצרו מודל מתמטי שאיפשר להם לנבא באיזו יעילות משתתפי המחקר ישלבו את המידע הוויזואלי והשמיעתי. לדבריהם, אנשים משלבים למעשה את שני הגירויים כמעט בצורה אופטימלית, ומה שהם מבינים תלוי באמינות הגירוי.

הם גם מסבירים: דמיינו שאתם בלשים. יש לכם שני עדים לפשע. אחד מאוד מדוייק ואמין. השני אינו אמין. אתם אוספים אינפורמציה משניהם ושוקלים את יכולת ההבנה של כל אחד מהם במסגרת הסקת המסקנות של מה שאירע בזירת הפשע.

בדרך מסויימת, קריאת שפתיים מערבת את אותו סוג של שילוב מידע במוח.

שילוב הכרחי

במסגרת הניסויים, המשתתפים צפו בסרט וידאו בו נראה אדם מדבר. אם אותו אדם הוצג באופן נורמלי, המידע הוויזואלי סיפק יתרון משמעותי בשילוב עם המידע השמיעתי, במיוחד כשהיה רעש מתון ברקע. למרבה ההפתעה, אם האדם המדבר היה דמות מצויירת בלבד, שלא ביטאה באמת את המילים, הרי שהמידע הוויזואלי עדיין היה יעיל, אך לא במידה רבה.

בניסוי נוסף, האדם שבווידאו ביטא רק מילה אחת אך הקול שהושמע היה של מילה אחרת. תוצאות הניסוי הראו כי לעיתים קרובות המוח שילב את שני הגירויים למילה שונה לחלוטין.