من جملة إلى سلسلة أرقام: كيف ينشئ الذكاء الاصطناعي Token؟

الجملة التي تكتبها ليست نصًا في نظر الذكاء الاصطناعي

يبدو استخدام الذكاء الاصطناعي بسيطًا جدًا. تكتب:

«اكتب رسالة بريد إلكتروني بالإنجليزية إلى عميلي».

فيجيب النظام:

“Dear Customer...”

يبدو الأمر كأن إنسانًا يتحدث، والذكاء الاصطناعي يفهم ثم يجيب. لكن الإدخال يمر خلف الواجهة بعملية تحويل معقدة. فالذكاء الاصطناعي لا يقرأ النص مباشرة مثل الإنسان. وقبل دخول المحتوى إلى نموذج اللغة الكبير، يمر بالمسار التالي:

نص → Token → أرقام → حسابات النموذج

تمثل Token الجسر بين لغة البشر ونموذج الذكاء الاصطناعي.

1. يرى الإنسان نصًا، بينما يستقبل الذكاء الاصطناعي أرقامًا

لماذا يستطيع الإنسان فهم جملة؟

مثلًا:

«التفاح لذيذ».

يفهم الإنسان تلقائيًا أن التفاح فاكهة تؤكل، وأن «لذيذ» تقييم، وأن الجملة تعبّر عن تجربة. ويأتي هذا الفهم من المعرفة والخبرة اللتين راكمهما الدماغ.

أما الحاسوب فمختلف. قدرته الأساسية هي الحساب بالأرقام، ولا يعرف بالفطرة أن «التفاح» يشير إلى فاكهة. لذلك يجب على نموذج اللغة الكبير أولًا تحويل لغة الإنسان إلى معلومات تستطيع الآلة حسابها.

لغة بشرية
↓
Token
↓
تمثيل رقمي
↓
حسابات نموذج الذكاء الاصطناعي
↓
توليد الإجابة

Token هي الوحدة الوسيطة في هذه العملية.

2. الخطوة الأولى: يستقبل الذكاء الاصطناعي النص

لنفترض أنك أدخلت الجملة الصينية:

“人工智能正在改变世界。” (الذكاء الاصطناعي يغير العالم).

يراها الإنسان جملة كاملة، بينما يستقبل النظام في البداية تسلسلًا من المحارف:

人 / 工 / 智 / 能 / 正 / 在 / 改 / 变 / 世 / 界 / 。

يجب على الحاسوب أولًا التعرف على كل محرف قبل متابعة المعالجة.

3. الخطوة الثانية: يقسم Tokenizer النص إلى Token

Tokenizer

تسمى الأداة المسؤولة عن تقسيم النص Tokenizer. ويمكن تصورها كأداة قطع يستخدمها الذكاء الاصطناعي قبل القراءة، إذ تقسم النص المتصل إلى وحدات صغيرة يستطيع النموذج معالجتها.

لا يصف متجر مخزونه بأنه «عربة واحدة من السلع»، بل يقسمه إلى عشر تفاحات وخمسة صناديق حليب وثلاثة أرغفة، حتى يستطيع عد الكميات وإدارة المخزون وحساب السعر.

يؤدي Tokenizer عملًا مشابهًا، إذ يقسم النص الطويل إلى وحدات قابلة للعد والمعالجة.

على سبيل المثال:

我喜欢人工智能

قد تُقسّم هكذا:

我 / 喜欢 / 人工 / 智能

أو هكذا:

我 / 喜 / 欢 / 人 / 工 / 智 / 能

قد تستخدم النماذج طرق تقسيم مختلفة.

4. لماذا يختلف عدد Token للجملة نفسها بين أنظمة الذكاء الاصطناعي؟

قد تنتج الجملة نفسها أعدادًا مختلفة من Token لأن النماذج تستخدم أدوات Tokenizer مختلفة.

مثلًا:

“Artificial intelligence is changing the world.”

قد يقسمها أحد النماذج هكذا:

Artificial / intelligence / is / changing / the / world

وقد يقسمها نموذج آخر هكذا:

Art / ificial / intelligence / is / changing / the / world

المعنى واحد، لكن عدد Token مختلف.

يشبه الأمر مستودعين يخزنان البضاعة نفسها، أحدهما في صناديق كبيرة والآخر في صناديق صغيرة. المحتوى متطابق، لكن عدد الصناديق يختلف.

5. الخطوة الثالثة: تتحول Token إلى أرقام

لا يستطيع نموذج اللغة الكبير إجراء الحسابات على الكلمات الخام، بل يحتاج إلى أرقام.

بعد التجزئة، قد تتحول العبارة الصينية 人工智能 إلى وحدتي Token هما 人工 و智能. ثم ترتبط كل Token بمعرّف رقمي:

人工 → 52341
智能 → 81726

هذه أرقام توضيحية فقط. وتحدد مفردات النموذج المعرّفات الحقيقية.

Token وToken ID

يمكن تشبيه Token باسم المنتج، وToken ID بالرمز الشريطي. لا يحسب نظام المتجر المخزون باستخدام كلمة «تفاح»، بل يستخدم رقم المنتج. ويستخدم الذكاء الاصطناعي Token ID بالطريقة نفسها في الحسابات اللاحقة.

6. الخطوة الرابعة: تدخل الأرقام إلى النموذج للحساب

بعد تحويل النص إلى أرقام، تدخل هذه الأرقام إلى نموذج اللغة الكبير. ويقيّم النموذج:

• علاقة Token الحالية بالسياق السابق؛
• المعلومات الأكثر أهمية؛
• المحتوى الأكثر احتمالًا أن يأتي بعد ذلك.

إذا كتب المستخدم:

«عاصمة الصين هي...»

يستخدم النموذج أنماط اللغة وعلاقات المعرفة التي تعلمها أثناء التدريب ليحدد أن «بكين» استمرار محتمل.

لا يعني ذلك أن الذكاء الاصطناعي يبحث في قاعدة بيانات مثل إنسان يفتح كتابًا ويجد الإجابة ثم ينسخها. بل يتنبأ بالمحتوى التالي الأكثر منطقية اعتمادًا على الأنماط والعلاقات التي تعلمها.

7. الخطوة الخامسة: يولد الذكاء الاصطناعي Token واحدة في كل مرة

يظن كثيرون أن النظام يكتب الإجابة كاملة داخليًا ثم يعرضها دفعة واحدة. لكن نماذج اللغة الكبيرة تولد المحتوى عادة بصورة تدريجية.

إذا سألت:

«اشرح الذكاء الاصطناعي».

قد يبني النموذج الإجابة على مراحل:

الذكاء الاصطناعي
الذكاء الاصطناعي هو
الذكاء الاصطناعي مجال يمكّن الحاسوب
الذكاء الاصطناعي مجال يمكّن الحاسوب من محاكاة قدرات الإنسان

وهكذا تتشكل الإجابة الكاملة.

إدخال الذكاء الاصطناعي: نص → Token
إخراج الذكاء الاصطناعي: Token → نص

تقع Token في قلب العملية كلها.

8. ما علاقة Token بقدرة نموذج اللغة الكبير؟

زيادة عدد Token لا تجعل الذكاء الاصطناعي أذكى. فهي مجرد وحدة لمعالجة المعلومات، مثلما لا يثبت استهلاك السيارة مزيدًا من الوقود أن أداءها أفضل.

1. بنية النموذج

البنية هي طريقة تصميم الذكاء الاصطناعي، وتحدد كيف تتدفق المعلومات وتُحسب داخل النظام.

2. بيانات التدريب

تحدد البيانات ما تعلمه النموذج، وتؤثر في المعرفة والأنماط اللغوية التي يستطيع استخدامها.

3. حجم المعلمات

يمكن النظر إلى المعلمات على أنها علاقات معلومات تعلمها النموذج. ويعد حجمها عاملًا في القدرة، لكنه ليس العامل الوحيد.

4. قدرة الاستدلال

هي قدرة النموذج على تحليل المشكلات المعقدة وحلها.

Token أقرب إلى «وحدة المواد» التي يعالجها الذكاء الاصطناعي أثناء العمل منها إلى درجة للذكاء.

9. لماذا تؤثر طريقة إنشاء Token في تجربة الاستخدام؟

يساعد فهم إنشاء Token في تفسير عدد من الحدود العملية.

1. لماذا تستهلك الصينية والإنجليزية أعدادًا مختلفة؟

تختلف بنية اللغات. فقد تكون الكلمة الإنجليزية الشائعة Token واحدة، بينما تُقسّم المحارف والكلمات الصينية بطريقة مختلفة.

لذلك قد يستهلك نصان متقاربان في الطول المرئي عددين مختلفين من Token بحسب اللغة.

2. لماذا تتجاوز الملفات الطويلة الحدود؟

يتحول الملف الأطول عادة إلى عدد أكبر من Token. يرى الإنسان «كتابًا واحدًا»، بينما قد يرى النظام مئات الآلاف من Token.

3. لماذا يوجد حد للسياق؟

لا يستطيع النموذج معالجة إلا عدد محدود من Token في المرة الواحدة. ويسمى هذا الحد نافذة السياق.

يمكن تصورها ككمية المواد التي يستطيع الذكاء الاصطناعي وضعها على مكتب مرة واحدة. وكلما كبر المكتب استطاع النظر في مواد أكثر معًا.

10. من النص إلى Token ثم العودة إلى النص

المسار الكامل هو:

يدخل المستخدم نصًا
↓
يقسم Tokenizer النص
↓
تُنشأ Token
↓
تتحول Token إلى أرقام
↓
تدخل الأرقام إلى نموذج اللغة الكبير
↓
تُولّد Token جديدة
↓
تتحول إلى نص يستطيع الإنسان قراءته
↓
تظهر الإجابة

باختصار:

Token هي البوابة التي تدخل منها لغة البشر إلى عالم الذكاء الاصطناعي، وهي الوحدات الأساسية التي يستخدمها لتوليد الإجابة.

11. المقال التالي: لماذا تُحسب رسوم Token؟

تتضمن كل إجابة تحويل النص ومعالجة Token وحسابات النموذج وتوليد Token جديدة.

وهذا يقود إلى السؤال التالي:

لماذا تفرض شركات الذكاء الاصطناعي الرسوم حسب Token؟

لماذا تُحسب رسوم على الإدخال والإخراج؟ ولماذا تكون الملفات الطويلة أغلى؟ ولماذا تختلف أسعار النماذج كثيرًا؟

سيتناول المقال التالي أكثر ما يهم المستخدمين: كيف تُسعّر Token، وكم تبلغ التكلفة الفعلية لمحادثة واحدة مع الذكاء الاصطناعي؟