ما Token؟ فهم «لبنات اللغة» التي يستخدمها الذكاء الاصطناعي

في كل مرة تستخدم فيها الذكاء الاصطناعي، تستهلك شيئًا غير مرئي

يستخدم كثير من الناس الذكاء الاصطناعي يوميًا:

• يطلبون من ChatGPT كتابة مقال.
• يطلبون من Claude تلخيص مستند.
• يطلبون من Gemini تحليل صورة.
• يطلبون من DeepSeek المساعدة في حل مشكلة.

وأثناء الاستخدام قد تظهر أسئلة مثل:

• لماذا ينسى الذكاء الاصطناعي أحيانًا بداية المحادثة؟
• لماذا تستغرق معالجة المستندات الطويلة وقتًا أطول؟
• لماذا تحاسب بعض خدمات الذكاء الاصطناعي حسب Token؟

عندما يرى بعض الناس كلمة Token لأول مرة، يظنون أنها عملة افتراضية داخل نظام الذكاء الاصطناعي.

هذا غير صحيح.

قد تشير Token في البلوك تشين إلى أصل رقمي، لكنها في نماذج اللغة الكبيرة تعني:

وحدة أساسية يستخدمها الذكاء الاصطناعي لمعالجة النص والمعلومات.

ببساطة، Token هي «لبنات اللغة» الصغيرة التي يستخدمها النظام لقراءة المحتوى وتوليده.

1. لماذا يحتاج الذكاء الاصطناعي إلى Token؟

لفهم Token، لنفكر أولًا في الطريقة التي يقرأ بها الإنسان جملة.

مثلًا:

الطقس جميل اليوم.

يفهم الإنسان فورًا معاني «اليوم» و«الطقس» و«جميل». يستطيع الدماغ معالجة الكلمات ومعانيها في الوقت نفسه.

أما الحاسوب فمختلف. فهو يعالج في المستوى الأساسي الأرقام والشيفرة والعمليات الرياضية، ولا يفهم مباشرة معنى «الطقس جميل».

قبل أن يتعامل النموذج الكبير مع اللغة، يجب أن يحولها إلى صيغة يستطيع الحاسوب معالجتها. وتمثل Token خطوة أساسية في هذا التحويل.

2. مثال بسيط لفهم Token

لنفترض أن كتابًا يحتوي على الجملة:

الذكاء الاصطناعي يغيّر العالم.

لا «يرى» النموذج الجملة كاملة كما هي، بل يقسم النص أولًا إلى وحدات أصغر، مثل:

الذكاء الاصطناعي / يغيّر / العالم / .

يمكننا في البداية اعتبار هذه الوحدات tokens.

هذا مثال مبسط فقط. لا تقسم النماذج الحقيقية النص دائمًا عند حدود الكلمات الكاملة:

• قد تكون الكلمة Token واحدة.
• قد تنقسم الكلمة إلى عدة tokens.
• قد يكون الحرف الصيني الواحد Token واحدة.
• قد تجتمع عدة أحرف في Token واحدة.

3. Token هي لبنات لغة الذكاء الاصطناعي

تخيل طفلًا يلعب بالمكعبات لأول مرة. لا يحصل على مبنى جاهز، بل على مكعبات ومستطيلات ومثلثات وقطع أساسية أخرى، ثم يجمعها ليصنع منزلًا أو سيارة أو قلعة.

يعالج الذكاء الاصطناعي اللغة بطريقة مشابهة:

1. يرى الإنسان جملة كاملة.
2. يستقبل الذكاء الاصطناعي سلسلة من tokens.
3. يحسب النموذج العلاقات بين هذه tokens.
4. يولد النموذج tokens جديدة.
5. تتجمع tokens في إجابة يستطيع الإنسان قراءتها.

لذلك:

Token هي المكونات الأساسية التي يستخدمها الذكاء الاصطناعي لفهم اللغة وتوليدها.

4. Token لا تساوي حرفًا أو كلمة

هذا من أكثر المفاهيم الخاطئة شيوعًا لدى المبتدئين. لا يساوي الحرف الصيني الواحد دائمًا Token واحدة، ولا تساوي الكلمة الإنجليزية الواحدة دائمًا Token واحدة.

قد يختلف تقسيم الصينية والإنجليزية تمامًا

قد تُقسم العبارة الصينية «人工智能» هكذا:

人工 / 智能

أو هكذا:

人 / 工 / 智 / 能

وقد تُقسم العبارة الإنجليزية «artificial intelligence» هكذا:

artificial / intelligence

أو هكذا:

arti / ficial / intelligence

يعتمد التقسيم الدقيق على Tokenizer المستخدم في النموذج، أي قواعد التقسيم والمفردات التي تحول النص إلى tokens.

5. لماذا يحول الذكاء الاصطناعي النص إلى tokens؟

إذا كانت الإجابة النهائية نصًا، فلماذا لا يفهم النموذج النص مباشرة؟

لأن النموذج الكبير يجري داخليًا عمليات حسابية. عندما يرى الإنسان كلمة «apple»، قد يفكر في فاكهة أو اللون الأحمر أو شيء يؤكل أو شركة Apple. أما الحاسوب فيحتاج أولًا إلى تحويل النص إلى تمثيل رقمي يستطيع النموذج إجراء الحساب عليه.

يمكن تبسيط العملية هكذا:

نص
  ↓
Token
  ↓
تمثيل رقمي
  ↓
حسابات النموذج
  ↓
tokens جديدة
  ↓
إجابة نصية

تشكل tokens جسرًا بين اللغة البشرية ورياضيات النموذج.

6. يولد الذكاء الاصطناعي الإجابة Token بعد أخرى

يتخيل كثيرون أن الذكاء الاصطناعي يفكر أولًا في إجابة كاملة ثم يعرضها دفعة واحدة. لكن نموذج اللغة الكبير يعمل بطريقة أقرب إلى:

توقع Token التالية الأكثر احتمالًا اعتمادًا على كل ما سبق.

إذا سألت: «ما عاصمة الصين؟»، يجمع النموذج المعلومات المتعلقة بالصين والعاصمة والمعرفة التاريخية وأنماط اللغة. يولد Token أو tokens التي تقابل «بكين»، ثم يقرر إن كانت الجملة تحتاج إلى علامة ترقيم، وينتهي إلى:

عاصمة الصين هي بكين.

لذلك، فإن توليد النص هو عملية متكررة من توقع tokens وإنتاجها.

7. ما دور tokens داخل النموذج الكبير؟

إذا شبهنا النموذج الكبير بخبير بشري، تصبح الصورة كالتالي.

بيانات التدريب

هي تاريخ تعلم الخبير: الكتب والمقالات والمواد التي درسها.

معلمات النموذج

هي المعرفة والخبرة المتراكمة التي تساعد النموذج على تحديد ما هو مرتبط وما الإجابة المعقولة.

Token

هي وحدة اللغة الأساسية التي يستخدمها الخبير في القراءة والتعبير.

من دون tokens لا يمكن للنص دخول النموذج. ومن دون النموذج لا تستطيع tokens إنتاج إجابة ذات معنى. ويشكل الاثنان معًا أساس معالجة اللغة.

8. ما علاقة tokens بسجل المحادثة؟

لاحظ كثير من المستخدمين أن الذكاء الاصطناعي يتذكر التفاصيل في بداية المحادثة، لكنه يبدو كأنه ينسى بعضها بعد حوار طويل.

أحد الأسباب هو نافذة السياق (Context Window).

نافذة السياق هي مساحة العمل قصيرة المدى للنظام

تخيل مكتبًا محدود المساحة. يمكن وضع الملفات A وB وC عليه، لكن استمرار وصول الملفات يفرض إزالة الملفات القديمة أو ضغط المعلومات أو إعادة ترتيب النقاط المهمة.

تعمل نافذة السياق بطريقة مشابهة:

• كلما طالت المحادثة، زاد عدد tokens المطلوب معالجتها.
• كلما طال المستند، زاد عدد tokens التي يشغلها.
• بعد تجاوز الحد، قد لا يحتفظ النموذج بكل المعلومات الأولى.

9. لماذا تزداد أهمية tokens؟

في الماضي، لم يصادف معظم المستخدمين tokens لأن الذكاء الاصطناعي كان يعمل خلف محركات البحث وأنظمة التوصية والتطبيقات الصناعية.

أما الآن، فقد دخلت النماذج الكبيرة مباشرة في العمل والحياة اليومية.

كتابة مقال

عندما تطلب مقالًا من 5000 كلمة، يجب على النظام معالجة تعليماتك وتوليد عدد كبير من tokens الناتجة.

تحليل مستند

عند رفع عقد من 100 صفحة، يحول النظام قدرًا كبيرًا من محتواه إلى tokens قبل فهمه وتحليله.

الذكاء الاصطناعي في الشركات

قد تعالج خدمة عملاء تعمل بالذكاء الاصطناعي عشرات الآلاف من المحادثات يوميًا. وتولد كل محادثة tokens للإدخال والإخراج.

وهكذا انتقلت tokens من تفصيل هندسي إلى وحدة عملية للقدرة والتكلفة يحتاج المستخدمون والشركات إلى فهمها.

10. ما الفرق بين Token في الذكاء الاصطناعي وToken في البلوك تشين؟

قد تذكّر كلمة Token بـBitcoin أوNFT أو الأصول الرقمية، لكن المعنيين مختلفان تمامًا.

Token في الذكاء الاصطناعي

وحدة أساسية لمعالجة المعلومات، وتستخدم في:

• تمثيل محتوى الإدخال.
• توليد الإجابات.
• قياس طول السياق.
• حساب تكلفة استخدام النموذج.

Token في البلوك تشين

أصل رقمي أو إثبات لحقوق داخل شبكة بلوك تشين، وقد يستخدم في:

• تداول القيمة.
• تمثيل الملكية أو الحقوق.
• المشاركة في آليات الشبكة.

يشتركان في الكلمة الإنجليزية فقط، لكن المعنى والاستخدام مختلفان.

11. لماذا يحتاج المستخدم العادي إلى فهم tokens؟

قد تسأل: «أنا لست مبرمجًا، فلماذا أحتاج إلى فهم Token؟»

سيشبه الذكاء الاصطناعي الكهرباء أكثر فأكثر. لسنا بحاجة إلى معرفة تصميم المولد، لكننا نحتاج إلى معرفة طريقة حساب الفاتورة وحجم الاستهلاك والأجهزة التي تستهلك أكثر.

الأمر نفسه ينطبق على tokens. يساعد فهمها على تفسير:

• لماذا تكلف خدمة ذكاء اصطناعي أكثر من أخرى.
• لماذا يستهلك الملف الكبير حصة استخدام أكبر.
• لماذا تختلف أسعار النماذج.
• كيف تختار أداة تناسب احتياجاتك.

لا يهدف تعلم tokens إلى أن تصبح مهندس ذكاء اصطناعي، بل إلى استخدام الذكاء الاصطناعي بفاعلية أكبر.

12. المقال التالي: لماذا أصبحت tokens شائعة فجأة؟

نعرف الآن أن tokens هي الوحدات الأساسية التي يستخدمها الذكاء الاصطناعي لقراءة المعلومات وتوليدها.

لكن يبقى سؤال:

tokens موجودة منذ سنوات، فلماذا لم تجذب هذا الاهتمام إلا مؤخرًا؟

ترتبط الإجابة بتحول كبير: ينتقل الذكاء الاصطناعي من تقنية تعمل خلف الكواليس إلى أداة يومية يستخدمها الجميع.

سيشرح المقال التالي:

• كيف غيّر ChatGPT صناعة الذكاء الاصطناعي.
• لماذا بدأت الشركات تهتم بتكلفة tokens.
• لماذا قد يحتاج الجميع تقريبًا إلى فهم tokens في المستقبل.