להצליח במבחן בלי להבין את המשימה

מודל של בינה מלאכותית אינו מתוכנת לפתור משימה בדרך שקבע מתכנת. הוא נחשף למספר עצום של דוגמאות, ומחלץ מהן בעצמו את הכללים שיאפשרו לו לענות נכון. השיטה הזאת חזקה מאוד, אבל טמונה בה בעיה שאינה מובנת מאליה: המודל לומד את מה שעובד על הדוגמאות שקיבל, ולא בהכרח את מה שהתכוונו ללמד אותו.

הדוגמה המוכרת ביותר היא הגמל והסוס. אם בכל תמונות האימון הגמלים מצולמים על רקע חול והסוסים על רקע דשא, המודל יכול להשיג ציון מצוין בלי להסתכל על החיה כלל. די לו לזהות את צבע הרקע. כל עוד נבדק על תמונות מאותו סוג, הוא נראה מוצלח. כשהחוקרים החליפו את הרקעים והציגו גמל על דשא וסוס על חול, הדיוק צנח: ממצב שבו המודלים המובילים תיארו נכון כשמונים אחוז מן התמונות הרגילות, לכשלושים וחמישה אחוזים בלבד בתמונות המוחלפות.

לתופעה הזאת קוראים קיצור דרך. קיצור דרך הוא מאפיין שנמצא בנתוני האימון, מתואם עם התשובה הנכונה, וקל בהרבה לזיהוי מאשר התכונה האמיתית שרצינו שהמודל ילמד. שימו לב שהמודל אינו עושה כאן דבר שגוי מבחינתו. הוא מצא את הדרך היעילה ביותר להצליח במבחן שהוצג לו. הבעיה אינה במודל אלא בפער בין המבחן שהעברנו לו לבין המשימה שהתכוונו אליה.

כדי להבין עד כמה זה קריטי, כדאי לצאת מתמונות של חיות ולעבור לרפואה. תוארה מערכת שנועדה לזהות דלקת ריאות בצילומי חזה, ובפועל למדה להסתמך על תג בית החולים שהופיע בפינת התמונה. התג היה מתואם עם התשובה, משום שבית חולים אחד טיפל בחולים קשים יותר מן האחר. בבדיקה רחבה יותר נבחנו ארבעה עשר כלים לאבחון רפואי, ונמצא שכולם הסתמכו במידה כלשהי על מאפיינים של הציוד ושל מקום הצילום ולא רק על הריאה עצמה. כשהוחלפו בתי החולים, הביצועים ירדו.

אפשר לחשוב שהפתרון הוא פשוט עוד נתונים. זה נכון חלקית בלבד. מודלים שאומנו על מאות מיליוני תמונות עדיין למדו קיצורי דרך, משום שגודל אינו מבטיח גיוון. אם ההטיה קיימת בכל הנתונים, הכפלת כמותם רק מחזקת אותה. כשקיצור הדרך ידוע מראש אפשר לפעול נגדו, למשל על ידי איסוף מכוון של דוגמאות עם רקעים מגוונים. הקושי האמיתי הוא בקיצורי דרך שלא חשבנו עליהם, כמו תאורה, זווית צילום או סוג המצלמה.

התופעה אינה ייחודית למכונות. בתחילת המאה העשרים התפרסם סוס בשם הנס הפיקח, שנראה כמסוגל לפתור תרגילי חשבון ולהקיש את התשובה ברגלו. בבדיקה שיטתית התברר שהסוס לא חישב דבר. הוא למד לזהות שינויים זעירים בשפת הגוף של השואל, שהתרחשו כשהמספר הנכון התקרב. גם כאן היה מתאם מושלם בין הרמז לתשובה, וגם כאן הרמז היה קל בהרבה מן החישוב.

ההשוואה הזאת מובילה לשאלה שחורגת ממדעי המחשב. גם תלמיד שמשנן פתרונות של תרגילים קודמים יצליח במבחן שדומה להם, וייכשל בתרגיל שנראה אחרת. במקרה כזה הציון אינו מודד את מה שהוא מתיימר למדוד. במונחים מדויקים: המבחן אינו תקף, כלומר אינו בודק באמת את מה שהוא אמור לבדוק, גם אם הוא עקבי ונותן תוצאות דומות בכל פעם.

החוקרים מפתחים שיטות לזיהוי קיצורי דרך ולצמצומם, אך אין ודאות שאפשר לחסום את כולם. בינתיים המסקנה המעשית ברורה: הצלחה במבחן אינה הוכחה להבנה, וכשמערכת עוברת ממקום אחד לאחר צריך לבדוק אותה מחדש. זה נכון למודל, וזה נכון גם לסוס ולתלמיד.