Computer Use (בעברית: "שימוש במחשב") הוא יכולת של מודל AI להסתכל על מסך, להבין מה מוצג בו, ולבצע פעולות כמו אדם: ללחוץ, להקליד ולגלול. במקום להתחבר למערכת דרך חיבור מסודר, הסוכן עובד בממשק עצמו, כמו עובד שיושב מול המחשב.
בקצרה
- Computer Use הוא AI שרואה צילום מסך ומחליט מה ללחוץ או להקליד, שוב ושוב, עד שהמשימה מסתיימת.
- הוא שימושי במערכות בלי חיבור מסודר, אבל איטי ושביר יותר מחיבור ישיר.
- OpenAI ו־Anthropic ממליצות להריץ אותו בסביבה מבודדת ולהשאיר פעולות בלתי הפיכות, כמו רכישה, בידי אדם.
- dots, Muse ו־Grok Bot משתמשים בגישה הזו, כל אחד בצורה שונה.
ההמחשה: עובד מול מסך, בלי גישה למערכת
דמיינו עובד חדש שקיבל משימה במערכת ישנה בלי חיבור לשום דבר. הוא לא יכול להריץ פקודה. הוא פותח את המסך, מסתכל, לוחץ על כפתור, מסתכל שוב, ממלא שדה, ומסתכל כדי לוודא שזה עבד.
זה בדיוק מה ש־Computer Use עושה. הוא מסתכל על מסך, בוחר פעולה אחת, מבצע, ומסתכל שוב.
איך זה עובד: לולאה של מסך ופעולה
לפי התיעוד של OpenAI, השימוש במחשב נעשה דרך Responses API, והמחזור פשוט: שולחים משימה עם כלי המחשב, המודל מחזיר פעולות (לחיצה, הקלדה, גלילה) והאפליקציה שלכם מבצעת אותן, ואז צריך לצלם את המסך המעודכן ולהחזיר אותו למודל, כדי שיוכל לבדוק את התוצאה. לצד זה יש בתיעוד גם דרך שבה המודל כותב קוד שרץ בסביבה מבודדת. אצל Anthropic המבנה דומה: Claude מבקש פעולה, האפליקציה מבצעת ומחזירה תוצאה, וצילומי מסך הם חלק מהמחזור.
איך זה נראה בסוכנים שכבר קיימים
הסוכנים האישיים החדשים כולם נשענים על מחשב משלהם, אבל כל אחד מארגן אותו אחרת. אנחנו מפרטים בהשוואה המלאה Muse, dots או Grok Bot, וכאן רק הקו הכללי:
- dots של OpenAI: לכל dot יש מחשב ענן ודפדפן פרטי משלו, נפרד מהדפדפן שלכם. התחברות לאתרים נעשית בטופס פרטי מחוץ לשיחה.
- Meta Muse: רץ בתוך מכונה וירטואלית ייעודית, ו־Sentinel, סוכן שומר נפרד, בודק מה יוצא החוצה.
- Grok Bot: כל הבוטים של משתמש חולקים מחשב ענן אחד. סיסמאות וקודים מקלידים בעצמכם, והבוט מעביר אליכם את השליטה. לפי התיעוד שלו, אתר עלול לחסום אוטומציה או לדרוש צעד אנושי.
למה זה חשוב לעסק?
מתאים
- מערכת ישנה בדפדפן בלי API
- העתקת נתונים בין מסכים
- בדיקה שאתר או טופס עובדים
- משימות חוזרות עם צעדים קבועים
רק באישור
- שליחת מייל או הודעה
- רכישה או תשלום
- שינוי הגדרות בחשבון
- כל פעולה שקשה לבטל
עדיף חיבור ישיר
- מערכת שיש לה חיבור מסודר
- עבודה מהירה בנפח גדול
- הרשאה מינימלית לכל מערכת
- סיסמאות ואמצעי תשלום
הדעה שלנו: Computer Use הוא פתרון למקום שבו אין חיבור, לא תחליף לחיבור. כשיש חיבור ישיר, כמו MCP או ממשק של המערכת, הוא מהיר, יציב וקל יותר להגביל להרשאה מינימלית. מסך הוא ברירת המחדל האחרונה.
הסיכון המרכזי: טקסט שמעמיד פנים שהוא הוראה
סוכן שקורא מסך קורא גם מה שכתוב בדפים. OpenAI ממליצה להתייחס לטקסט על המסך כבלתי אמין, שלא יכול לבטל את ההוראות של המשתמש, ולהשאיר בידי אנשים רכישות, העברת נתונים ושינויים הרסניים. Anthropic ממליצה להריץ בסביבה מבודדת, לא למסור לו סיסמאות ומפתחות, להגביל אתרים ולדרוש אישור אנושי לפעולות משמעותיות. הסיכון הזה נקרא prompt injection.
מיתוסים נפוצים
מיתוס"הסוכן שולט במחשב שלי"
בפועלברוב המוצרים שתיארנו הוא עובד במחשב ענן משלו. שליטה במחשב האישי, כשהיא קיימת, דורשת הרשאה מפורשת שלכם.
מיתוס"זה תמיד טוב יותר מחיבור ישיר"
בפועלעבודה דרך מסך תלויה בכך שהממשק לא ישתנה, ואתרים עשויים לחסום אותה. כשיש חיבור, הוא עדיף.
מיתוס"אם הוא רואה את המסך, הוא לא יטעה"
בפועלהוא יכול ללחוץ במקום הלא נכון או להבין מסך לא נכון. לכן בודקים אחרי כל צעד ומאשרים פעולות רגישות.
מושגים קרובים
- סוכן AI: מודל שמבצע משימות
- MCP: חיבור ישיר של מודל לכלים
- Prompt injection: הוראות מוסתרות בתוכן
- LLM: המודל שמחליט מה ללחוץ
- הזיה: כשהמודל בטוח וטועה
פלטין דיגיטל היא OpenAI Select Partner. בסוכנים שאנחנו מקימים, העדפה ראשונה היא חיבור ישיר עם הרשאה מינימלית, ופרסום או שינוי תקציב תמיד באישורכם.
שאלות נפוצות
מה זה Computer Use?
Computer Use הוא יכולת של מודל AI להפעיל מחשב כמו אדם: הוא מקבל צילום מסך, מחליט מה לעשות, ומבצע לחיצה, הקלדה או גלילה, ואז בודק את התוצאה במסך חדש. הוא משמש לעבודה בממשקים שאין להם חיבור מסודר.
במה Computer Use שונה מ־API או MCP?
API ו־MCP הם חיבורים ישירים בין המודל למערכת, בלי מסך. Computer Use עובד דרך הממשק הגרפי כמו משתמש. הוא גמיש יותר ושביר ואיטי יותר, ולכן מחבר ישיר עדיף כשהוא קיים.
האם Computer Use בטוח?
הוא בטוח במידה שמגדירים אותו נכון. שתי החברות ממליצות לבודד את הסביבה, להגביל אתרים, לא למסור סיסמאות ולהשאיר פעולות בלתי הפיכות לאישור אדם. בלי זה, תוכן זדוני בדף עלול להטעות את הסוכן.
אילו מוצרים משתמשים ב־Computer Use?
בין היתר dots של OpenAI, Muse של Meta ו־Grok Bot של SpaceXAI, וכן ממשקי המפתחים של OpenAI ושל Anthropic. הם נבדלים באופן שבו המחשב מבודד ובאופן שבו מבקשים מכם אישור. ההשוואה המלאה מופיעה במאמר על Muse, dots ו־Grok Bot.
מקורות
- https://developers.openai.com/api/docs/guides/tools-computer-use
- https://platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool
- https://openai.com/index/introducing-dots/
- https://learn.chatgpt.com/docs/dots/computers-and-apps
- https://about.fb.com/news/2026/09/introducing-muse-personal-ai-agent/
- https://docs.x.ai/grok-bot/computer-and-apps
- https://docs.x.ai/grok-bot/approvals-security-and-privacy
