טוקן (token) הוא יחידת הטקסט שמודלי שפה קוראים וכותבים: חתיכה קטנה של טקסט, לפעמים מילה שלמה ולפעמים רק חלק ממנה.
בקצרה
- טוקן הוא חתיכת טקסט שהמודל מעבד כיחידה אחת. כל מה שנשלח למודל ומה שהוא כותב נספר בטוקנים.
- לפי OpenAI, באנגלית טוקן אחד הוא בערך 4 תווים או 0.75 מילים.
- למודל יש מגבלת אורך: ההוראות, הקלט והתשובה ביחד לא יכולים לחרוג ממנה.
- ב־API של OpenAI משלמים לפי טוקנים, בנפרד על קלט ועל פלט.
מה זה טוקן, בדימוי אחד
חשבו על לגו. את הבית לא בונים מחול אלא מקוביות, וגם קוביות בגדלים שונים. מודל שפה לא קורא אותיות או משפטים שלמים, אלא "קוביות טקסט" כאלה. מילה נפוצה קצרה עשויה להיות קובייה אחת, ומילה ארוכה או נדירה עשויה להתפרק לכמה.
הטוקנים הם היחידה שבה המודל סופר את העבודה שלו: כמה קרא, כמה כתב וכמה מקום נשאר לו.
איך זה עובד?
OpenAI מציינת כלל אצבע לטקסט באנגלית: טוקן הוא בערך 4 תווים או 0.75 מילים. שימו לב שזה כלל לאנגלית. בעברית ובשפות אחרות החלוקה עשויה להיות שונה, ולכן אל תסתמכו עליו לחישוב מדויק. אם צריך מספר, בודקים בכלי ספירת טוקנים של ספק המודל.
מקור: תיעוד OpenAI, Concepts ודף התמחור של ה־API. כלל האצבע מתייחס לאנגלית.
התיעוד מגדיר גם מגבלת הקשר (context window): ההוראות והקלט שנשלחים למודל, יחד עם התשובה שהוא יוצר, לא יכולים לעבור את האורך המרבי של המודל. אחרת משהו לא נכנס.
למה זה חשוב לעסק?
- עלות. דף התמחור של OpenAI מציג מחירים למיליון טוקנים, כשקלט ופלט מתומחרים בנפרד. אצל מודלים רבים יש גם הנחה על קלט שנשמר במטמון. מה שאתם משלמים תלוי בכמה טקסט נשלח ובכמה נוצר. פירוט הרכיבים בעלות סוכן מופיע במאמר על עלות סוכן AI לעסק.
- מסמכים ארוכים. סיכום חוזה או קטלוג ארוך צורך הרבה טוקנים, ויכול לדחוק את השאר מחוץ לחלון.
- שיחות ארוכות. ככל שהשיחה מתארכת, יש יותר היסטוריה לשלוח למודל, ולכן אפשר להתחיל שיחה חדשה כשעוברים נושא.
- הוראות קצרות וברורות. הוראה תמציתית חוסכת טוקנים.
- סוכנים. סוכן שעובד בכמה צעדים קורא ומחזיר טקסט בכל צעד, ולכן שווה לבקש מהמקים להסביר איך השימוש נמדד. על מבנה הסוכן: מה זה סוכן AI.
מה אנחנו עושים בפועל
בעל עסק לא צריך לספור טוקנים ביד. מה שכן כדאי לדרוש מכל מי שמקים לכם סוכן: הסבר ברור איך השימוש נמדד, ואיך מונעים בזבוז, למשל בשליחת מסמך שלם כשדי בקטע ממנו. הדרך הטובה להבין עלויות היא לבדוק את התעריף העדכני אצל הספק, כי מחירים משתנים.
מיתוסים נפוצים
מיתוס"טוקן הוא בדיוק מילה"
בפועלOpenAI מדברת על קירוב: בערך 0.75 מילים לטוקן, באנגלית. ולכן מילה אחת יכולה להיות יותר מטוקן אחד.
מיתוס"משלמים רק על התשובה"
בפועלב־API משלמים על קלט ועל פלט, בתעריפים שונים.
מיתוס"אפשר להדביק למודל כמה טקסט שרוצים"
בפועליש מגבלת אורך. הקלט והתשובה ביחד לא יכולים לעבור אותה.
מיתוס"מספר הטוקנים זהה בכל שפה"
בפועלכלל האצבע של OpenAI נאמר לאנגלית. בשפות אחרות המספר עשוי להיות שונה, ולכן בודקים בפועל.
מונחים קשורים
- מה זה LLM: מודל השפה שמעבד טוקנים.
- מה זה RAG: דרך להביא למודל רק את הקטעים הרלוונטיים, במקום מסמך שלם.
- מה זה סוכן AI: מערכת שפועלת בצעדים וצורכת טוקנים בכל אחד.
- מה זה הזיה ב־AI: כשהמודל מייצר תשובה שנשמעת נכון ואינה.
- כמה עולה סוכן AI לעסק: איך הטוקנים נכנסים לעלות.
שאלות נפוצות
מה זה טוקן ב־AI?
טוקן הוא יחידת הטקסט שמודלי שפה קוראים וכותבים. הוא יכול להיות מילה שלמה, חלק ממילה או סימן פיסוק. ספירת הטוקנים קובעת כמה מקום תופס הטקסט במגבלת האורך של המודל, ובשימוש ב־API גם כמה משלמים.
כמה טוקנים יש במילה?
OpenAI מציינת שבאנגלית טוקן אחד הוא בערך 4 תווים או 0.75 מילים. זה כלל אצבע לאנגלית בלבד. בעברית המספר עשוי להיות שונה, ולכן לחישוב מדויק משתמשים בכלי ספירה.
מה זה חלון הקשר (context window)?
זו מגבלת האורך של המודל. לפי תיעוד OpenAI, ההוראות והקלט יחד עם התשובה שנוצרת לא יכולים לעבור את אורך ההקשר המרבי של המודל.
איך טוקנים משפיעים על עלות?
ב־API של OpenAI המחירים מוצגים למיליון טוקנים, וקלט ופלט מתומחרים בנפרד. ככל שנשלח ונוצר יותר טקסט, העלות עולה. הסכום המדויק תלוי במודל ובתעריפים העדכניים באתר הספק.
