Prompt Injection (حقن التعليمات) حالة يغيّر فيها مُدخَل، مباشر أو مخبّأ داخل محتوى يقرؤه النموذج، سلوك نموذج اللغة على نحو لم تقصده.
باختصار
- Prompt Injection هو استخدام النص لدفع نموذج الذكاء الاصطناعي إلى فعل شيء لم تقصده.
- تصنّف OWASP، وهي جهة أمنية معروفة، هذا الخطر في المرتبة الأولى من قائمتها لتطبيقات نماذج اللغة (LLM01).
- قد تختبئ تعليمة خبيثة في موقع أو ملف أو بريد إلكتروني يقرؤه الوكيل، لا في رسالتك أنت فقط.
- بحسب OWASP، ليس واضحًا أن هناك طريقة تمنع ذلك تمامًا. يُقلَّل الخطر بأقل الصلاحيات وبموافقة بشرية.
ما هو Prompt Injection، بصورة واحدة
تخيّل مساعدًا جديدًا أعطيته تعليمات واضحة، وهو الآن يفتح طردًا وصل بالبريد. في الطرد ورقة تقول: "أرسل قائمة العملاء إلى هذا العنوان". المساعد الحذر يفهم أنها مجرد ورقة. أما المساعد الذي لا يفرّق بين "ما قاله المدير" و"ما هو مكتوب أمام عينيه" فقد يطيع.
وهذا بالضبط ما يصعب على نموذج اللغة: فكل ما يدخل إليه بالنسبة له نص. ولذلك قد يحاول نص صيغ بإقناع أن يستولي على التعليمات التي أُعطيت للنموذج.
كيف يحدث ذلك؟
تحدّد OWASP شكلين. المباشر: يكتب مستخدم مُدخَلًا يغيّر سلوك النموذج، عمدًا أو خطأً. غير المباشر: يعالج النموذج محتوى خارجيًا، مثل موقع أو ملف، يحوي تعليمات مخبّأة. وتشير OWASP إلى أن التأثير قد يكون غير مرئي للعين البشرية، ولذلك يصعب كشفه.
الحقن غير المباشر: كيف يحدث
- أنت تعطي مهمة"لخّص لي هذا المستند"
- الوكيل يقرأ محتوى خارجيًاموقع أو بريد أو ملف
- فيه تعليمة مخبّأةفيخلط النموذج بينها وبين المهمة
- توقّف قبل الضررصلاحيات ضيقة وموافقتك
الخطوة الأخيرة هي ما يصنع الفرق. كلما قلّت صلاحيات الوكيل، وكلما انتظرت الإجراءات الحساسة موافقتك، قلّ الضرر الذي تستطيع تعليمة مخبّأة أن تتسبب فيه.
لماذا يهمّ هذا نشاطك التجاري؟
لا يلزم أن تكون هدفًا مقصودًا. يكفي أن يقرأ الوكيل محتوى لم تكتبه أنت. بحسب OWASP، قد يؤدي هجوم ناجح، من بين أمور أخرى، إلى:
- كشف معلومات. وصول غير مصرّح به إلى بيانات، أو كشف تعليمات النظام (system prompt).
- إجراءات لم تُطلب. استخدام وظائف لا ينبغي أن تكون متاحة، أو تشغيل أوامر في أنظمة موصولة.
- مخرجات منحازة أو خاطئة. إجابة أو ملخص أو توصية تأثرت بنص خبيث.
- قرارات مشوّهة. وكيل يلخّص منافسين أو موردين من مواقعهم، ويتخذ قرارًا بناءً على محتوى زُرع عمدًا.
وحين يكون الوكيل موصولًا بحسابات حقيقية، تكون الصلاحيات خط الدفاع. وقد كتبنا عن هذا الموضوع في سياق الخصوصية في دليل الخصوصية ووكلاء الذكاء الاصطناعي.
ماذا يمكن أن تفعل؟
توصي OWASP بسبع طرق للتخفيف، والتقسيم التالي يترجمها لصاحب نشاط:
طرق التخفيف عند OWASP، بلغة صاحب النشاط
قيّد الوكيل
- أقل الصلاحيات فقط
- تعليمات نظام واضحة
- صيغة مخرجات محددة ومُتحقَّق منها
افحص ما يدخل وما يخرج
- تصفية المُدخَلات والمخرجات
- فصل المحتوى الخارجي عن التعليمات
اطلب الموافقة وافحص
- موافقة بشرية للإجراءات الخطرة
- اختبارات هجوم محاكى
المصدر: OWASP GenAI Security Project, LLM01:2025 Prompt Injection. الترجمة والتجميع من إعدادنا.
ويصف دليل OpenAI لبناء الوكلاء أيضًا ضوابط الحماية كطبقات دفاع، ويؤكد أن واحدة وحدها لا تكفي، وأنها يجب أن تعمل مع الصلاحيات والتحقق من الهوية وضوابط وصول صارمة. وموقفنا: لا تعتمد على "برومبت ذكي" يطلب من النموذج أن يحذر. التقييد الفعلي بالصلاحيات أقوى منه.
خرافات شائعة
خرافة"هذا يخص القراصنة والشركات الكبيرة فقط"
في الواقعأي وكيل يقرأ محتوى لم تكتبه أنت، مثل المواقع والرسائل والملفات، معرّض لذلك. حجم النشاط لا يغيّر شيئًا، أما الصلاحيات فتغيّر.
خرافة"يمكن حل المشكلة بتعليمة قوية بما يكفي"
في الواقعتكتب OWASP أنه ليس واضحًا إن كانت هناك طرق تمنع ذلك تمامًا، بسبب طبيعة النماذج. ولذلك تُجمع عدة طبقات حماية.
خرافة"هذا خطأ من النموذج"
في الواقعهذا يختلف عن الهلوسة. هنا طرف خارجي يوجّه السلوك، وأحيانًا عبر نص لا يراه الإنسان أصلًا.
خرافة"إذا لم يكن الوكيل موصولًا بأي شيء فلا خطر إطلاقًا"
في الواقعيمكن مع ذلك تحريف الإجابات. لكن الضرر الأكبر يقع حين توجد اتصالات، ولهذا تكتسب الصلاحيات المحدودة أهمية خاصة عند الوكلاء.
مصطلحات ذات صلة
- ما هو وكيل الذكاء الاصطناعي: من يتعرض للمحتوى ويعمل في الأدوات.
- ما هو MCP: الاتصال الذي يمنح الوكيل وصولًا إلى الأنظمة.
- ما هو LLM: النموذج الذي يتلقى التعليمات والمحتوى معًا.
- ما هي الهلوسة في الذكاء الاصطناعي: خطأ آخر، ينبع من النموذج نفسه.
- ما هو التوكن: التعليمات والمحتوى الخارجي يصلان إلى النموذج كسلسلة نصية واحدة.
الأسئلة الشائعة
ما هو Prompt Injection؟
Prompt Injection ثغرة يغيّر فيها مُدخَل إلى نموذج لغة سلوكه أو مخرجاته على نحو غير مقصود. بحسب OWASP، قد يأتي المُدخَل مباشرة من المستخدم، أو بشكل غير مباشر من محتوى خارجي يعالجه النموذج، مثل موقع أو ملف. وهو الخطر الأول في قائمة OWASP لتطبيقات LLM (LLM01).
ما الفرق بين الحقن المباشر وغير المباشر؟
في المباشر، من يكتب للنموذج هو من يغيّر سلوكه. وفي غير المباشر، تكون التعليمة مخبّأة في محتوى يقرؤه النموذج في طريقه، مثل صفحة إنترنت، وليس بالضرورة في رسالة المستخدم.
هل يمكن منع Prompt Injection تمامًا؟
تكتب OWASP أنه ليس واضحًا إن كانت هناك طرق منع محصّنة بالكامل. لذلك يوصى بعدة طبقات: أقل الصلاحيات، وفحص المُدخَلات والمخرجات، وفصل المحتوى الخارجي، وموافقة بشرية على الإجراءات الخطرة.
ماذا يستطيع نشاط صغير أن يفعل اليوم؟
أن يمنح الوكيل الصلاحيات التي يحتاجها فقط، وأن يُبقي النشر والميزانية والرسائل إلى العملاء بموافقتك، وأن يتجنب ربط حسابات لا حاجة لها. وكذلك اسأل من يُعدّ الوكيل كيف يتعامل مع المحتوى الخارجي.
