لماذا أصبحت Token مهمة فجأة؟ من انتشار نماذج اللغة الكبيرة إلى منافسة تكلفة الذكاء الاصطناعي
الملخص
شرح انتقال Token من مفهوم تقني مخفي في معالجة اللغة إلى مقياس يؤثر في أسعار الذكاء الاصطناعي وحدود السياق وحجم الاستخدام المؤسسي ومنافسة التكلفة.
في السابق لم يكن أحد يهتم بـ Token، فلماذا يتحدث عنها الجميع الآن؟
قبل أعوام قليلة، كان من الغريب أن تقول لشخص ما: «في المستقبل سيحتاج كل إنسان إلى فهم Token».
كان هذا المصطلح يظهر غالبًا في الوثائق التقنية لمهندسي الذكاء الاصطناعي، ومواصفات API للمطورين، وأبحاث تعلم الآلة. أما المستخدم العادي فنادرًا ما كان يصادفه.
اليوم دخلت منتجات مثل ChatGPT وClaude وGemini وDeepSeek وCopilot وGrok إلى العمل والحياة اليومية. وأصبحت Token تؤثر في:
- أسعار منتجات الذكاء الاصطناعي؛
- القدرة على معالجة الملفات؛
- طول المحادثات؛
- تكلفة الاستخدام على الشركات؛
- تجربة المستخدم العادي.
كانت Token موجودة من قبل، فلماذا أصبحت مهمة فجأة خلال العامين الأخيرين؟ الإجابة هي أن نماذج اللغة الكبيرة غيّرت طريقة استخدام الذكاء الاصطناعي.
1. Token ليست تقنية جديدة
لم تظهر Token بعد ChatGPT. فمنذ زمن طويل تحتاج أنظمة معالجة اللغة الطبيعية إلى تقسيم لغة البشر إلى وحدات أصغر.
لا يستطيع الحاسوب فهم النص مباشرة كما يفعل الإنسان. بل يجب أولًا تحويله إلى معلومات قابلة للمعالجة، وتدخل Token في هذه العملية.
إذًا Token نفسها ليست جديدة. التغيير الحقيقي هو:
نقلت نماذج اللغة الكبيرة Token من «أداة تعمل خلف الكواليس للمتخصصين» إلى عنصر يستطيع المستخدم العادي أن يشعر بتأثيره مباشرة.
2. أدخل ChatGPT الذكاء الاصطناعي إلى الحياة العامة
كان الذكاء الاصطناعي موجودًا منذ سنوات. فالتعرف على الوجه في الهواتف، وتوصيات المنتجات في المتاجر، وتخطيط المسارات في الخرائط، واقتراح مقاطع الفيديو تستخدم الذكاء الاصطناعي.
لكن معظم المستخدمين لم يشعروا بذلك لأن الأنظمة القديمة كانت مخفية خلف وظائف البرامج. قد يقترح تطبيق التسوق منتجًا عليك من دون أن تتساءل عن تقنية الذكاء الاصطناعي التي تقف خلف الاقتراح.
غيّر ChatGPT هذا الوضع
أطلقت OpenAI خدمة ChatGPT في عام 2022. ولم يكن أكبر تغيير هو «ظهور الذكاء الاصطناعي للمرة الأولى»، بل:
أصبح بإمكان الناس العاديين التواصل مباشرة مع نموذج ذكاء اصطناعي قوي باستخدام اللغة الطبيعية.
لم يعد المستخدم بحاجة إلى تعلم البرمجة أو فهم الخوارزميات. يكفي أن يكتب «اكتب رسالة بريد إلكتروني بالإنجليزية إلى عميلي» ليولّد النظام المحتوى.
تصف OpenAI خدمة ChatGPT بأنها نظام ذكاء اصطناعي يمكنه إجراء المحادثات والإجابة عن الأسئلة ومساعدة المستخدمين على إنجاز مهام متنوعة.
المرجع: التعريف الرسمي بخدمة ChatGPT
3. في عصر نماذج اللغة الكبيرة يتحول الذكاء الاصطناعي من «أداة» إلى «مساعد»
لفهم أهمية Token، يجب ملاحظة تحول أوسع: كانت البرامج التقليدية أقرب إلى الأدوات، بينما أصبحت نماذج اللغة الكبيرة أقرب إلى المساعدين.
نموذج البرامج التقليدية
في برنامج معالجة النصوص، يفتح المستخدم التطبيق ويكتب النص ويعدله وينسقه بنفسه. يوفر البرنامج الوظائف، لكن المستخدم يؤدي العمل.
نموذج اللغة الكبير
يمكنك الآن أن تقول للذكاء الاصطناعي مباشرة:
«اكتب تعريفًا احترافيًا بمنتج يستهدف مسؤولي المشتريات في أوروبا والولايات المتحدة».
يفهم النظام الهدف، ويحلل المتطلبات، ويولّد المحتوى، ثم يعدله بناءً على الملاحظات. لم يعد ينفذ أزرارًا ثابتة فقط، بل بدأ يفسر نية الإنسان.
أدى هذا التحول إلى نمو سريع في استخدام الذكاء الاصطناعي، وكل تفاعل يعني معالجة المزيد من Token.
4. لماذا بدأ المستخدم العادي يصادف Token؟
كانت أنظمة الذكاء الاصطناعي القديمة تنفذ مهام ثابتة مثل اقتراح المنتجات، بينما لا يعرف المستخدم ما يجري في الخلفية. أما نماذج اللغة الكبيرة فتختلف لأن المستخدم يرسل المحتوى مباشرة.
على سبيل المثال:
«حلّل هذا العقد المكوّن من 50 صفحة».
يجب على النظام قراءة الملف وفهم معلوماته وإنتاج تحليل. وتدخل Token في العملية كلها.
مثال بسيط
إذا طلبت من الذكاء الاصطناعي تلخيص كتاب، فالإنسان يراه «كتابًا واحدًا». أما النظام فلا يعالجه كوحدة واحدة، بل يحول كمية كبيرة من النص إلى Token ثم يعالجها.
قد يتحول كتاب يحتوي على 200 ألف محرف صيني إلى مئات الآلاف من Token. ويعتمد العدد الدقيق على اللغة والنموذج وطريقة التجزئة.
بوجه عام، كلما زاد المحتوى زاد عدد Token المطلوب معالجتها.
5. لماذا تهتم الشركات بـ Token؟
قد يسأل الفرد: «ما علاقة Token بي؟» لكن الشركات تهتم بها كثيرًا لأنها تستخدم الذكاء الاصطناعي على نطاق مختلف تمامًا.
المستخدم العادي
قد يرسل الفرد عشرات الطلبات إلى الذكاء الاصطناعي في اليوم.
الشركات
قد تعالج الشركة مئات الآلاف من الطلبات يوميًا أو أكثر. فشركة تجارة إلكترونية تستخدم خدمة عملاء مدعومة بالذكاء الاصطناعي قد تقوم كل يوم بما يلي:
- الإجابة عن أسئلة العملاء؛
- البحث عن الطلبات؛
- اقتراح المنتجات؛
- معالجة خدمات ما بعد البيع.
يستهلك كل تفاعل Token. وعند الوصول إلى نطاق كبير، تصبح Token تكلفة مباشرة على الشركة.
يشبه ذلك الفرق بين استهلاك الكهرباء في المنزل والمصنع. قد لا تراقب الأسرة سعر كل كيلوواط ساعة، لكن فاتورة الكهرباء تصبح تكلفة مهمة لمصنع يستهلك طاقة ضخمة. وينطبق الأمر نفسه على Token في الشركات.
6. تتوسع منافسة الذكاء الاصطناعي من «قدرة النموذج» إلى «منافسة التكلفة»
ركزت المنافسة المبكرة على سؤال «أي نموذج أذكى؟»، مثل دقة الإجابة وقوة الاستدلال وجودة النتائج.
ومع اعتماد الشركات للذكاء الاصطناعي على نطاق واسع، ظهر سؤال مهم آخر:
«كم تبلغ تكلفة استخدام هذا الذكاء الاصطناعي؟»
مهما كان النموذج قويًا، يصعب نشره على نطاق واسع إذا كانت تكلفته مرتفعة جدًا. لذلك تتنافس الشركات في عدة أبعاد:
- أداء النموذج؛
- سرعة التشغيل؛
- تكلفة Token؛
- طول السياق الذي يمكن معالجته؛
- عدد المهام وتعقيدها.
تواصل سلاسل GPT من OpenAI وClaude من Anthropic وGemini من Google ونماذج DeepSeek تحسين القدرة وتكلفة الاستخدام معًا. كما تنشر وثائقها الرسمية معلومات عن قدرات النماذج وحدود السياق والأسعار.
المراجع:
7. لماذا قد يحتاج الجميع إلى فهم Token مستقبلًا؟
لا تحتاج إلى أن تكون مبرمجًا أو مطور ذكاء اصطناعي لكي تستفيد من فهم Token.
فالذكاء الاصطناعي يتحول إلى قدرة أساسية. لا يستطيع معظم الناس تصنيع حاسوب، لكنهم يفهمون مفاهيم مثل CPU والذاكرة والتخزين لأنها تؤثر في السعر وتجربة الاستخدام وقرار الشراء. وأصبحت Token مفهومًا مشابهًا.
لماذا تكون أداة الذكاء الاصطناعي هذه أغلى؟
قد تعالج أو تستهلك عددًا أكبر من Token.
لماذا توجد حدود لرفع الملفات الكبيرة؟
لأن الملف يجب أن يتحول إلى عدد كبير من Token.
لماذا ينسى الذكاء الاصطناعي بداية المحادثة الطويلة؟
لأن عدد Token التي تتسع لها نافذة السياق محدود.
لماذا تختلف أسعار منتجات الذكاء الاصطناعي؟
لأن تكلفة معالجة Token تختلف من نموذج إلى آخر.
8. قد تصبح Token «وحدة قياس» لاقتصاد الذكاء الاصطناعي
كانت كمية الكهرباء وحدة أساسية في عصر الكهرباء، وأصبحت حركة البيانات موردًا مهمًا في عصر الإنترنت. وفي عصر الذكاء الاصطناعي، تتحول Token إلى مفهوم مهم لقياس معالجة المعلومات.
العمل الأساسي للذكاء الاصطناعي هو معالجة المعلومات، ويوفر عدد Token طريقة لقياس نطاق هذا العمل.
قد لا ترى كلمة Token كل يوم، لكنها ستعمل خلف مساعدات الذكاء الاصطناعي والمكاتب الذكية وبرامج الشركات والقيادة الذاتية وخدمة العملاء ووكلاء AI Agent.
9. ما القيمة الحقيقية لفهم Token؟
لا تهدف معرفة Token إلى تحويل الجميع إلى مهندسي ذكاء اصطناعي، بل إلى فهم ما يحدث عند استخدامه.
ستفهم بصورة أفضل:
- لماذا يحتاج الذكاء الاصطناعي إلى تكلفة حوسبة؛
- لماذا تختلف أسعار النماذج؛
- لماذا توجد حدود للاستخدام؛
- كيف تختار أداة ذكاء اصطناعي تناسب احتياجاتك.
باختصار:
يمكنك استخدام الذكاء الاصطناعي من دون فهم Token.
لكن فهم Token يساعدك على استخدامه بصورة أفضل.
10. المقال التالي: كيف تُنشأ Token فعلًا؟
نعرف الآن لماذا أصبحت Token أكثر أهمية، لكن يبقى سؤال أساسي:
ماذا يحدث بعد دخول جملة إلى نموذج الذكاء الاصطناعي؟
إذا كتبنا «اكتب لي رسالة بريد إلكتروني بالإنجليزية»، فكيف يحول النظام هذه الجملة إلى معلومات يستطيع معالجتها؟
سيشرح المقال التالي:
- كيف يُقسّم النص إلى Token؛
- ما Tokenizer؛
- كيف يتحول النص إلى أرقام؛
- كيف يبدأ الذكاء الاصطناعي معالجة اللغة من خلال Token.
فريق التحرير
Product Team @ WebCal
فريق منتج WebCal الرسمي. نبني بنية حوسبة عالية الأداء وحلول سحابة لامركزية.
