הזיה (Hallucination) ב־AI היא מצב שבו מודל שפה מוסר מידע שגוי או מומצא, בניסוח שנשמע סביר ובטוח. OpenAI מתארת את זה כהצהרות סבירות אך שגויות. זה לא תקלה נדירה אלא תכונה של האופן שבו המודלים נבנים ומוערכים.
בקצרה
- הזיה היא תשובה שנשמעת נכון ואינה נכונה: שם, מספר, מקור או פרט שהמודל המציא.
- לפי OpenAI, שתי סיבות עיקריות: עובדות שרירותיות שאי אפשר ללמוד מדפוסי טקסט, ושיטות הערכה שמתגמלות ניחוש על פני "אני לא יודע".
- אי אפשר לבטל הזיות לגמרי, אבל אפשר לצמצם: לתת מקור, להרשות למודל לומר שאינו יודע, ולבדוק.
- בעסק, הכלל הוא להשאיר אישור אנושי לכל מה שמתפרסם, נשלח או עולה כסף.
ההמחשה: תלמיד שלא מוכן להשאיר מקום ריק
תארו לכם מבחן שבו תשובה שגויה ותשובה ריקה מקבלות אפס נקודות. מה יעשה תלמיד חכם? ינחש תמיד. במקרה הכי טוב הוא יצדק, ואין לו מה להפסיד.
OpenAI טוענת שזה בדיוק מה שקורה למודלים. במחקר שלה היא נותנת דוגמה: מודל שמנחש תאריך יום הולדת של אדם עלול להצליח בסיכוי של אחד ל־365, בעוד שתשובה של "אני לא יודע" מובטחת לקבל אפס. ובמבחנים שמודדים רק דיוק, המנחש נראה טוב יותר מהזהיר.
למה זה קורה: שתי סיבות
סיבה ראשונה: האימון
אין דפוס ללמוד
- המודל לומד דפוסים מהטקסט
- כתיב ופיסוק הם דפוס יציב
- עובדה שרירותית, כמו תאריך לידה של אדם, אין לה דפוס
סיבה שנייה: המדידה
ניחוש משתלם
- רוב ההערכות סופרות רק תשובות נכונות
- "לא יודע" מקבל אפס, כמו טעות
- מודל שמנחש מדורג גבוה יותר
המסקנה של OpenAI היא ששינוי נדרש גם בשיטות ההערכה: לתגמל הבעת אי־ודאות מכוילת, ולא ביטחון שגוי. אין כאן הבטחה שהבעיה תיעלם, ו־OpenAI עצמה מציינת שהזיות נשארות אתגר של כל מודלי השפה.
איך נראית הזיה בעסק?
הבטחה שלא קיימת
- מענה ללקוח על מדיניות החזרות שלא קיימת אצלכם
- הנחה שאף אחד לא אישר
פרט מומצא בתוכן
- "מחקר" או נתון שאין לו מקור
- מפרט מוצר שלא תואם את הקטלוג
מספר שגוי בדוח
- סיכום שמשלים נתון שחסר
- השוואה לתקופה שלא נבדקה
מקור שלא קיים
- קישור או ציטוט שנראים אמיתיים
- שם של חוק או תקנה שלא נבדק
איך מצמצמים הזיות
Anthropic מפרסמת בתיעוד שלה טכניקות מעשיות:
- להרשות "אני לא יודע". לכתוב להוראה במפורש שאם חסר מידע, אפשר לומר זאת.
- לבסס על ציטוטים. במסמך ארוך, לבקש קודם ציטוטים מילה במילה, ורק אחר כך ניתוח שנשען עליהם.
- לדרוש מקור לכל טענה. ואם אין ציטוט שתומך בטענה, למחוק אותה.
- להגביל לחומר שסיפקתם. להורות להשתמש רק במסמכים שצורפו ולא בידע כללי. כך עובד גם RAG.
- לבדוק פעמיים. להריץ את אותה בקשה כמה פעמים ולהשוות. סתירות הן סימן אזהרה.
Anthropic מוסיפה בעצמה שהטכניקות מפחיתות הזיות משמעותית אך לא מבטלות אותן, ושיש לאמת מידע קריטי, במיוחד בהחלטות חשובות.
לפני שמפרסמים או שולחים תוצר של AI
מיתוסים נפוצים על הזיות
מיתוס"המודל משקר"
בפועלשקר דורש כוונה. המודל לא מתכוון להטעות, הוא מייצר המשך סביר, ולפעמים הסביר אינו נכון.
מיתוס"מודל חדש ומתקדם לא מזייף"
בפועלמודלים משתפרים, אבל ההזיות לא נעלמות. גם התיעוד של Anthropic אומר שהטכניקות מצמצמות ולא מבטלות.
מיתוס"אפשר לזהות הזיה לפי הסגנון"
בפועלהזיה נשמעת בדיוק כמו תשובה נכונה, בטון בטוח. בודקים מול מקור, לא לפי תחושה.
מיתוס"אם נותנים מסמכים, אין יותר הזיות"
בפועלזה עוזר מאוד, אבל המודל עדיין יכול לפרש לא נכון או להשלים מה שחסר. לכן ממשיכים לדרוש מקור ולבדוק.
מושגים קרובים
- LLM: המודל שכותב את התשובה
- RAG: לתת למודל את המסמך הנכון
- סוכן AI: מודל שמבצע, עם אישור
- Computer Use: כשהמודל פועל על מסך
- Prompt injection: כשתוכן מטעה את המודל
פלטין דיגיטל היא OpenAI Select Partner. בסוכנים שאנחנו מקימים, תוכן לפרסום, הודעה ללקוח ושינוי תקציב מחכים תמיד לאישור שלכם, בגלל הסיבה שתוארה כאן.
שאלות נפוצות
מה זה הזיה ב־AI?
הזיה ב־AI היא מצב שבו מודל שפה מוסר מידע שגוי או מומצא בניסוח סביר ובטוח, למשל שם, נתון או מקור שאינם קיימים. לפי OpenAI, היא נובעת בין היתר מכך שעובדות שרירותיות אינן ניתנות ללמידה מדפוסי טקסט, ומכך ששיטות הערכה מתגמלות ניחוש.
למה ChatGPT ממציא דברים?
כי הוא נבנה לייצר המשך סביר לטקסט, ולא לבדוק עובדות מול מאגר. כשאין לו מידע, שיטות ההערכה הנפוצות מעודדות אותו לנחש במקום לומר שאינו יודע. ככל שמספקים לו מקור, כמו ב־RAG, הסיכוי לטעות קטן.
האם אפשר למנוע הזיות לגמרי?
לא. אפשר לצמצם אותן בעזרת הרשאה לומר "לא יודע", ציטוטים, דרישת מקור והגבלה למסמכים שסופקו. גם Anthropic וגם OpenAI מציינות שהבעיה נשארת, ולכן מידע קריטי נבדק.
איך נשארים בטוחים כשמשתמשים ב־AI בעסק?
מחלקים את העבודה: המודל מכין טיוטה, ואדם מאשר כל מה שמתפרסם, נשלח ללקוח או נוגע בכסף. בודקים מספרים ומקורות, ומתחילים במשימות שבהן טעות קטנה אינה יקרה. עוד בהסבר על סוכן AI.
