التوكن (token) هو وحدة النص التي تقرؤها نماذج اللغة وتكتبها: قطعة صغيرة من النص، أحيانًا كلمة كاملة وأحيانًا جزء منها فقط.
باختصار
- التوكن قطعة نص يعالجها النموذج كوحدة واحدة. كل ما يُرسَل إلى النموذج وما يكتبه يُحسب بالتوكنات.
- بحسب OpenAI، التوكن الواحد في الإنجليزية نحو 4 أحرف أو 0.75 كلمة.
- للنموذج حد للطول: التعليمات والمُدخَل والإجابة معًا لا يمكن أن تتجاوزه.
- في API من OpenAI يُدفع بحسب التوكنات، بشكل منفصل عن المُدخَل وعن المخرَج.
ما هو التوكن، بصورة واحدة
فكّر في الليغو. لا يُبنى البيت من الرمل، بل من مكعبات، وبأحجام مختلفة. ونموذج اللغة لا يقرأ الحروف ولا الجمل كاملة، بل "مكعبات نص" كهذه. الكلمة القصيرة الشائعة قد تكون مكعبًا واحدًا، والكلمة الطويلة أو النادرة قد تتفكك إلى عدة مكعبات.
التوكنات هي الوحدة التي يعدّ بها النموذج عمله: كم قرأ، وكم كتب، وكم بقي له من مساحة.
كيف يعمل ذلك؟
تذكر OpenAI قاعدة تقريبية للنص الإنجليزي: التوكن نحو 4 أحرف أو 0.75 كلمة. انتبه إلى أنها قاعدة للإنجليزية. في العربية واللغات الأخرى قد يختلف التقسيم، فلا تعتمد عليها لحساب دقيق. إذا احتجت إلى رقم، تفحصه بأداة عدّ التوكنات لدى مزوّد النموذج.
المصدر: توثيق OpenAI، Concepts وصفحة أسعار الـ API. القاعدة التقريبية تخص الإنجليزية.
ويحدّد التوثيق أيضًا حد السياق (context window): التعليمات والمُدخَل المرسلان إلى النموذج، مع الإجابة التي ينتجها، لا يمكن أن يتجاوزا أقصى طول للنموذج. وإلا فإن شيئًا لا يدخل.
لماذا يهمّ هذا نشاطك التجاري؟
- التكلفة. تعرض صفحة أسعار OpenAI الأسعار لكل مليون توكن، ويُسعَّر المُدخَل والمخرَج كلٌّ على حدة. وفي نماذج كثيرة يوجد أيضًا خصم على المُدخَل المحفوظ في الذاكرة المؤقتة. ما تدفعه يتوقف على كمية النص المرسَل وعلى كمية ما يُنتَج. تفصيل مكوّنات تكلفة الوكيل في مقال تكلفة وكيل الذكاء الاصطناعي للأعمال.
- المستندات الطويلة. تلخيص عقد أو كتالوج طويل يستهلك توكنات كثيرة، وقد يدفع بالباقي خارج النافذة.
- المحادثات الطويلة. كلما طالت المحادثة زاد التاريخ الذي يجب إرساله إلى النموذج، ولذلك يمكنك بدء محادثة جديدة عند تغيير الموضوع.
- تعليمات قصيرة وواضحة. التعليمة المختصرة توفّر توكنات.
- الوكلاء. الوكيل الذي يعمل على عدة خطوات يقرأ ويعيد نصًا في كل خطوة، ولذلك يجدر أن تطلب ممن يُعدّه أن يشرح كيف يُقاس الاستخدام. عن بنية الوكيل: ما هو وكيل الذكاء الاصطناعي.
ما نفعله عمليًا
لا يحتاج صاحب النشاط إلى عدّ التوكنات يدويًا. لكن ما يستحق أن تطلبه ممن يُعدّ لك وكيلًا: شرحًا واضحًا لكيفية قياس الاستخدام، ولكيفية منع الهدر، مثل إرسال مستند كامل بينما يكفي مقطع منه. والطريقة الجيدة لفهم التكاليف هي فحص التعرفة الحالية لدى المزوّد، لأن الأسعار تتغير.
خرافات شائعة
خرافة"التوكن هو كلمة بالضبط"
في الواقعتتحدث OpenAI عن تقريب: نحو 0.75 كلمة للتوكن، في الإنجليزية. ولذلك قد تكون الكلمة الواحدة أكثر من توكن.
خرافة"تدفع فقط مقابل الإجابة"
في الواقعفي الـ API تدفع مقابل المُدخَل والمخرَج، بتعرفتين مختلفتين.
خرافة"يمكنك لصق أي كمية من النص في النموذج"
في الواقعهناك حد للطول. المُدخَل والإجابة معًا لا يمكن أن يتجاوزاه.
خرافة"عدد التوكنات هو نفسه في كل لغة"
في الواقعقاعدة OpenAI التقريبية قيلت عن الإنجليزية. في لغات أخرى قد يختلف العدد، ولذلك يُفحص فعليًا.
مصطلحات ذات صلة
- ما هو LLM: نموذج اللغة الذي يعالج التوكنات.
- ما هو RAG: طريقة لإيصال المقاطع ذات الصلة فقط إلى النموذج، بدل مستند كامل.
- ما هو وكيل الذكاء الاصطناعي: نظام يعمل على خطوات ويستهلك توكنات في كل منها.
- ما هي الهلوسة في الذكاء الاصطناعي: حين ينتج النموذج إجابة تبدو صحيحة وليست كذلك.
- كم يكلّف وكيل الذكاء الاصطناعي للأعمال: كيف تدخل التوكنات في التكلفة.
الأسئلة الشائعة
ما هو التوكن في الذكاء الاصطناعي؟
التوكن هو وحدة النص التي تقرؤها نماذج اللغة وتكتبها. قد يكون كلمة كاملة أو جزءًا من كلمة أو علامة ترقيم. يحدّد عدد التوكنات كم مساحة يشغل النص ضمن حد طول النموذج، وعند استخدام الـ API يحدّد أيضًا كم تدفع.
كم توكنًا في الكلمة؟
تذكر OpenAI أن التوكن الواحد في الإنجليزية نحو 4 أحرف أو 0.75 كلمة. هذه قاعدة تقريبية للإنجليزية فقط. في العربية قد يختلف العدد، ولذلك يُستخدم للحساب الدقيق أداة عدّ.
ما هي نافذة السياق (context window)؟
هي حد طول النموذج. بحسب توثيق OpenAI، التعليمات والمُدخَل مع الإجابة المُنتَجة لا يمكن أن يتجاوزوا أقصى طول للسياق لدى النموذج.
كيف تؤثر التوكنات في التكلفة؟
في API من OpenAI تُعرض الأسعار لكل مليون توكن، ويُسعَّر المُدخَل والمخرَج كلٌّ على حدة. كلما أُرسل وأُنتج نص أكثر ارتفعت التكلفة. والمبلغ الدقيق يتوقف على النموذج وعلى التعرفة الحالية في موقع المزوّد.
