الهلوسة (Hallucination) في الذكاء الاصطناعي حالة يقدّم فيها نموذج لغة معلومة خاطئة أو مختلَقة، بصياغة تبدو معقولة وواثقة. وتصفها OpenAI بأنها عبارات معقولة لكنها خاطئة. وهي ليست عطلًا نادرًا، بل سمة من طريقة بناء النماذج وتقييمها.
باختصار
- الهلوسة إجابة تبدو صحيحة وليست كذلك: اسم أو رقم أو مصدر أو تفصيل اختلقه النموذج.
- بحسب OpenAI، سببان رئيسيان: وقائع عشوائية لا يمكن تعلّمها من أنماط النص، وطرق تقييم تكافئ التخمين أكثر من "لا أعرف".
- لا يمكن إلغاء الهلوسة تمامًا، لكن يمكن تقليلها: بتقديم مصدر، والسماح للنموذج بأن يقول إنه لا يعرف، وبالفحص.
- في النشاط التجاري، القاعدة أن تبقى موافقة بشرية على كل ما يُنشر أو يُرسل أو يكلّف مالًا.
التوضيح: طالب لا يقبل أن يترك مكانًا فارغًا
تخيّل امتحانًا تنال فيه الإجابة الخاطئة والإجابة الفارغة صفرًا. ماذا يفعل الطالب الذكي؟ يخمّن دائمًا. وفي أفضل الأحوال يصيب، ولا شيء عنده ليخسره.
تقول OpenAI إن هذا بالضبط ما يحدث للنماذج. وتعرض في بحثها مثالًا: نموذج يخمّن تاريخ ميلاد شخص قد ينجح باحتمال واحد من 365، بينما إجابة "لا أعرف" مضمون أن تنال صفرًا. وفي الاختبارات التي تقيس الدقة فقط، يبدو المخمّن أفضل من الحذر.
لماذا يحدث ذلك: سببان
السبب الأول: التدريب
لا نمط يمكن تعلّمه
- النموذج يتعلم أنماطًا من النص
- الإملاء وعلامات الترقيم نمط ثابت
- الواقعة العشوائية، مثل تاريخ ميلاد شخص، لا نمط لها
السبب الثاني: القياس
التخمين يُجدي
- معظم التقييمات تحسب الإجابات الصحيحة فقط
- "لا أعرف" تنال صفرًا مثل الخطأ
- النموذج المخمّن يُصنَّف أعلى
وخلاصة OpenAI أن التغيير مطلوب أيضًا في طرق التقييم: أن تُكافأ الإفصاح عن عدم اليقين المعايَر، لا الثقة الخاطئة. وليس هنا وعد بأن المشكلة ستزول، فـ OpenAI نفسها تشير إلى أن الهلوسة تظل تحديًا لكل نماذج اللغة.
كيف تبدو الهلوسة في النشاط التجاري؟
وعد غير موجود
- رد على عميل بسياسة إرجاع ليست عندك
- خصم لم يوافق عليه أحد
تفصيل مختلَق في المحتوى
- "دراسة" أو رقم بلا مصدر
- مواصفات منتج لا تطابق الكتالوج
رقم خاطئ في تقرير
- ملخص يكمل رقمًا ناقصًا
- مقارنة بفترة لم تُفحص
مصدر غير موجود
- رابط أو اقتباس يبدوان حقيقيين
- اسم قانون أو لائحة لم يُتحقق منه
كيف تقلّل الهلوسة
تنشر Anthropic في توثيقها تقنيات عملية:
- اسمح بقول "لا أعرف". اكتب في التعليمة صراحةً أنه إذا نقصت المعلومات يمكنه أن يقول ذلك.
- اعتمد على الاقتباسات. في مستند طويل، اطلب أولًا اقتباسات حرفية، ثم بعدها تحليلًا يستند إليها.
- اشترط مصدرًا لكل ادعاء. وإذا لم يوجد اقتباس يدعم الادعاء فاحذفه.
- قيّده بالمادة التي قدّمتها. وجّهه إلى استخدام المستندات المرفقة فقط لا المعرفة العامة. وهكذا يعمل أيضًا RAG.
- افحص مرتين. شغّل الطلب نفسه عدة مرات وقارن. التناقضات علامة تحذير.
وتضيف Anthropic نفسها أن هذه التقنيات تقلّل الهلوسة بشكل ملحوظ لكنها لا تلغيها، وأن المعلومات الحرجة يجب التحقق منها، وخصوصًا في القرارات المهمة.
قبل أن تنشر أو ترسل مخرجات ذكاء اصطناعي
خرافات شائعة عن الهلوسة
خرافة"النموذج يكذب"
في الواقعالكذب يحتاج إلى قصد. النموذج لا يقصد التضليل، إنه ينتج استمرارًا معقولًا، وأحيانًا لا يكون المعقول صحيحًا.
خرافة"النموذج الجديد المتقدم لا يهلوس"
في الواقعالنماذج تتحسن، لكن الهلوسة لا تختفي. وتوثيق Anthropic نفسه يقول إن التقنيات تقلّل ولا تلغي.
خرافة"يمكن كشف الهلوسة من الأسلوب"
في الواقعالهلوسة تبدو تمامًا كإجابة صحيحة، بنبرة واثقة. نفحص مقابل مصدر، لا بالإحساس.
خرافة"إذا أعطيناه مستندات فلا هلوسة بعد الآن"
في الواقعيساعد كثيرًا، لكن النموذج ما زال قادرًا على التفسير الخاطئ أو إكمال ما ينقص. ولذلك نواصل اشتراط المصدر والفحص.
مفاهيم قريبة
- LLM: النموذج الذي يكتب الإجابة
- RAG: إعطاء النموذج المستند الصحيح
- وكيل الذكاء الاصطناعي: نموذج ينفّذ، بموافقة
- Computer Use: حين يعمل النموذج على شاشة
- Prompt injection: حين يضلّل محتوى النموذج
Platin Digital هي OpenAI Select Partner. في الوكلاء الذين نُعدّهم، ينتظر المحتوى المخصص للنشر والرسالة إلى العميل وتغيير الميزانية دائمًا موافقتك، وذلك للسبب الموصوف هنا.
الأسئلة الشائعة
ما هي الهلوسة في الذكاء الاصطناعي؟
الهلوسة في الذكاء الاصطناعي حالة يقدّم فيها نموذج لغة معلومة خاطئة أو مختلَقة بصياغة معقولة وواثقة، مثل اسم أو رقم أو مصدر غير موجود. بحسب OpenAI، تنشأ من أمور منها أن الوقائع العشوائية لا يمكن تعلّمها من أنماط النص، وأن طرق التقييم تكافئ التخمين.
لماذا يختلق ChatGPT أشياء؟
لأنه بُني لينتج استمرارًا معقولًا للنص، لا ليفحص الوقائع في قاعدة بيانات. وحين لا تتوفر لديه معلومات، تشجّعه طرق التقييم الشائعة على التخمين بدل أن يقول إنه لا يعرف. وكلما قدّمتَ له مصدرًا، كما في RAG، قلّ احتمال الخطأ.
هل يمكن منع الهلوسة تمامًا؟
لا. يمكن تقليلها بالسماح بقول "لا أعرف"، واستخدام الاقتباسات، واشتراط المصدر، والاقتصار على المستندات المقدَّمة. وتشير Anthropic وOpenAI كلتاهما إلى أن المشكلة تبقى، ولذلك تُفحص المعلومات الحرجة.
كيف أبقى في أمان عند استخدام الذكاء الاصطناعي في نشاطي؟
بتقسيم العمل: النموذج يعدّ مسودة، وإنسان يوافق على كل ما يُنشر أو يُرسل إلى عميل أو يمسّ المال. تُفحص الأرقام والمصادر، ويُبدأ بمهام لا يكلّف فيها الخطأ الصغير كثيرًا. المزيد في شرح وكيل الذكاء الاصطناعي.
