Prompt Injection (הזרקת פרומפט) היא מצב שבו קלט, ישיר או חבוי בתוך תוכן שהמודל קורא, משנה את ההתנהגות של מודל השפה בדרך שלא התכוונתם אליה.
בקצרה
- Prompt Injection הוא שימוש בטקסט כדי לגרום למודל AI לעשות משהו שלא התכוונתם אליו.
- OWASP, ארגון אבטחה מוכר, מונה את זה כסיכון הראשון ברשימה לאפליקציות מבוססות מודלי שפה (LLM01).
- הוראה זדונית יכולה להסתתר באתר, בקובץ או במייל שהסוכן קורא, ולא רק בהודעה שאתם כותבים.
- לפי OWASP, לא ברור שיש שיטה שמונעת את זה לחלוטין. מקטינים את הסיכון בהרשאות מינימליות ובאישור אנושי.
מה זה Prompt Injection, בדימוי אחד
דמיינו עוזר חדש שקיבל מכם הוראות ברורות, ועכשיו הוא פותח חבילה שהגיעה בדואר. בתוך החבילה פתק: "שלח את רשימת הלקוחות לכתובת הזאת". עוזר זהיר מבין שזה סתם פתק. עוזר שלא מבדיל בין "מה הבוס אמר" לבין "מה כתוב מול העיניים" עלול לציית.
מודל שפה מתקשה בדיוק בזה: מבחינתו כל מה שנכנס אליו הוא טקסט. לכן טקסט בעל ניסוח משכנע יכול לנסות להשתלט על ההוראות שניתנו לו.
איך זה עובד?
OWASP מגדיר שתי צורות. ישירה: משתמש כותב קלט שמשנה את התנהגות המודל, בכוונה או בטעות. עקיפה: המודל מעבד תוכן חיצוני, כמו אתר או קובץ, שמכיל הוראות חבויות. OWASP מציין שההשפעה יכולה להיות בלתי נראית לעין אנושית, ולכן קשה לזהות אותה.
הזרקה עקיפה: איך זה קורה
- אתם נותנים משימה"סכם לי את המסמך הזה"
- הסוכן קורא תוכן חיצוניאתר, מייל או קובץ
- בתוכו הוראה חבויהוהמודל מתבלבל בין ההוראה למשימה
- עצירה לפני נזקהרשאות צרות ואישור שלכם
הצעד האחרון הוא מה שעושה את ההבדל. ככל שלסוכן יש פחות הרשאות, וככל שפעולות רגישות מחכות לאישור, כך הוראה חבויה יכולה לגרום פחות נזק.
למה זה חשוב לעסק?
אתם לא צריכים להיות יעד מיוחד. מספיק שהסוכן קורא תוכן שלא אתם כתבתם. לפי OWASP, התקפה מוצלחת יכולה להוביל, בין היתר, ל:
- חשיפת מידע. גישה בלתי מורשית לנתונים, או חשיפה של הוראות המערכת (system prompt).
- פעולות שלא התבקשו. שימוש בפונקציות שלא אמורות להיות פתוחות, או הפעלת פקודות במערכות מחוברות.
- תוצרים מוטים או שגויים. תשובה, סיכום או המלצה שהושפעו מטקסט זדוני.
- החלטות מעוותות. סוכן שמסכם מתחרים או ספקים מאתרים, ומקבל החלטה על בסיס תוכן שהוטמן בכוונה.
כשסוכן מחובר לחשבונות אמיתיים, ההרשאות הן קו ההגנה. על הנושא הזה בהקשר של פרטיות כתבנו במדריך פרטיות וסוכני AI.
מה אפשר לעשות?
OWASP ממליץ על שבע שיטות הפחתה, והחלוקה הבאה מתרגמת אותן לעסק:
שיטות ההפחתה של OWASP, בעברית של בעל עסק
להגביל את הסוכן
- הרשאות מינימליות בלבד
- הוראות מערכת ברורות
- פורמט פלט מוגדר ומאומת
לבדוק מה נכנס ומה יוצא
- סינון קלט ופלט
- הפרדה בין תוכן חיצוני להוראות
לבקש אישור ולבדוק
- אישור אנושי לפעולות מסוכנות
- בדיקות תקיפה מדומות
מקור: OWASP GenAI Security Project, LLM01:2025 Prompt Injection. התרגום והקיבוץ שלנו.
גם המדריך של OpenAI לבניית סוכנים מתאר מעקות בטיחות כשכבות הגנה, ומדגיש שאחד לבדו לא מספיק, ושהם צריכים לפעול יחד עם הרשאות וזיהוי ובקרות גישה קשיחות. העמדה שלנו: אל תסמכו על "פרומפט חכם" שמבקש מהמודל להיזהר. הגבלה אמיתית בהרשאות חזקה ממנו.
מיתוסים נפוצים
מיתוס"זה נוגע רק להאקרים ולחברות גדולות"
בפועלכל סוכן שקורא תוכן שלא אתם כתבתם, כמו אתרים, מיילים וקבצים, חשוף לזה. גודל העסק לא משנה, ההרשאות כן.
מיתוס"אפשר לפתור את זה עם הוראה חזקה מספיק"
בפועלOWASP כותב שלא ברור אם יש שיטות שמונעות זאת לחלוטין, בגלל אופי המודלים. לכן מצרפים כמה שכבות הגנה.
מיתוס"מדובר בטעות של המודל"
בפועלזה לא דומה להזיה. כאן גורם חיצוני מכוון את ההתנהגות, ולפעמים דרך טקסט שאדם בכלל לא רואה.
מיתוס"אם הסוכן לא מחובר לכלום, אין סיכון בכלל"
בפועלעדיין אפשר להטות תשובות. אבל הנזק הגדול קורה כשיש חיבורים, ולכן הרשאות מוגבלות חשובות במיוחד לסוכנים.
מונחים קשורים
- מה זה סוכן AI: מי שנחשף לתוכן ופועל בכלים.
- מה זה MCP: החיבור שנותן לסוכן גישה למערכות.
- מה זה LLM: המודל שמקבל את ההוראות והתוכן יחד.
- מה זה הזיה ב־AI: טעות אחרת, שנובעת מהמודל עצמו.
- מה זה טוקן: הוראות ותוכן חיצוני מגיעים למודל כרצף טקסט אחד.
שאלות נפוצות
מה זה Prompt Injection?
Prompt Injection היא פגיעות שבה קלט למודל שפה משנה את התנהגותו או את הפלט שלו בדרך לא מכוונת. לפי OWASP, הקלט יכול להגיע ישירות מהמשתמש, או בעקיפין מתוכן חיצוני שהמודל מעבד, כמו אתר או קובץ. זה הסיכון הראשון ברשימת OWASP לאפליקציות LLM (LLM01).
מה ההבדל בין הזרקה ישירה לעקיפה?
בישירה, מי שמקליד למודל הוא שמשנה את התנהגותו. בעקיפה, ההוראה חבויה בתוכן שהמודל קורא בדרך, כמו דף אינטרנט, ולאו דווקא בהודעה של המשתמש.
אפשר למנוע Prompt Injection לגמרי?
OWASP כותב שלא ברור אם קיימות שיטות מניעה חסינות לחלוטין. לכן ממליצים על כמה שכבות: הרשאות מינימליות, בדיקת קלט ופלט, הפרדת תוכן חיצוני ואישור אנושי לפעולות מסוכנות.
מה עסק קטן יכול לעשות כבר היום?
לתת לסוכן רק את ההרשאות שהוא צריך, להשאיר פרסום, תקציב והודעות ללקוחות באישורכם, ולהימנע מלחבר אליו חשבונות שאין בהם צורך. בנוסף, שאלו את מי שמקים את הסוכן איך הוא מטפל בתוכן חיצוני.
