ما هو الـ Token فعليًا؟ شرح مبسّط بدون تعقيد تقني

تفتح صفحة أسعار أي أداة ذكاء اصطناعي فتجد "سعر لكل مليون Token"، أو تقرأ أن نموذجًا معيّنًا "يدعم نافذة سياق بحجم 200 ألف Token"، وتشعر أن هذا رقم تقني لا يخصك. الحقيقة أن فهم هذا المفهوم البسيط يوضح لك مباشرة لماذا تتغير الأسعار، ولماذا تتوقف المحادثات الطويلة عن العمل بشكل جيد.

التعريف المبسّط: قطعة صغيرة من الكلمة، لا الكلمة كاملة

النموذج لا يقرأ الجمل ككلمات كاملة، بل يقسّمها إلى قطع أصغر تسمى Tokens. أحيانًا الكلمة القصيرة تساوي Token واحدًا، وأحيانًا الكلمة الطويلة أو النادرة تنقسم إلى عدة Tokens. بشكل تقريبي جدًا في الإنجليزية، كل 4 أحرف تقريبًا تساوي Token واحدًا؛ وفي العربية، النسبة عادة أعلى بسبب طبيعة الكتابة والتشكيل.

الـ Token هو الوحدة التي يفكر بها النموذج، تمامًا كما يفكر الإنسان بالكلمات.

لماذا يؤثر هذا على السعر؟

معالجة كل Token تكلّف حسابيًا. لذلك تسعّر شركات الذكاء الاصطناعي استخدام واجهاتها البرمجية بناءً على عدد الـ Tokens في رسالتك (المدخل) وعدد الـ Tokens في رد النموذج (المخرج)، غالبًا بسعرين مختلفين. رسالة طويلة جدًا أو طلب رد طويل جدًا يعني تكلفة أعلى، حتى لو بدا الفرق بسيطًا للعين البشرية.

لماذا يؤثر هذا على طول المحادثة؟

الذاكرة السياقية (Context Window) التي تحدد "كم يستطيع النموذج تذكّره" تُقاس بعدد الـ Tokens أيضًا، وليس بعدد الرسائل. محادثة طويلة تتضمن رسائل كثيرة قصيرة قد تستهلك نفس عدد الـ Tokens التي تستهلكها محادثة أقصر لكن برسائل أطول بكثير — وهذا هو السبب التقني الدقيق وراء "نسيان" النموذج لبداية المحادثات الطويلة جدًا.

ملاحظة عملية للاستخدام اليومي

إن كنت تستخدم واجهة برمجية مدفوعة بالاستهلاك، اطلب ردودًا مختصرة عمدًا حين لا تحتاج تفاصيل زائدة — هذا يوفر تكلفة حقيقية على المدى الطويل. وإن كنت تلاحظ أن محادثة طويلة بدأت تفقد التركيز، فهذا مؤشر واضح على أنك تقترب من حد الـ Tokens المسموح به، وربما حان وقت تلخيص المحادثة أو بدء واحدة جديدة.

الخلاصة

الـ Token ليس مصطلحًا للمبرمجين فقط؛ هو الوحدة الأساسية التي تفسّر لك التسعير، وحدود الذاكرة، وسبب تراجع أداء المحادثات الطويلة جدًا. فهمه لا يجعلك مبرمجًا، لكنه يجعلك مستخدمًا أكثر وعيًا بما يحدث خلف الواجهة.