एक वाक्य से संख्याओं तक: एआई Token कैसे बनाता है?

आपके लिखे वाक्य को एआई वास्तव में टेक्स्ट के रूप में नहीं देखता

एआई का उपयोग बहुत सरल लगता है। आप लिखते हैं:

“मेरे ग्राहक के लिए अंग्रेज़ी ईमेल लिखो।”

एआई उत्तर देता है:

“Dear Customer...”

ऐसा लगता है कि मनुष्य बोलता है, एआई समझता है और उत्तर देता है। लेकिन इंटरफ़ेस के पीछे इनपुट एक जटिल रूपांतरण से गुजरता है। एआई किसी मनुष्य की तरह टेक्स्ट को सीधे नहीं पढ़ता। सामग्री के लार्ज लैंग्वेज मॉडल में जाने से पहले यह रास्ता बनता है:

टेक्स्ट → Token → संख्याएँ → मॉडल की गणना

Token मानव भाषा और एआई मॉडल के बीच का पुल है।

1. मनुष्य टेक्स्ट देखता है, एआई संख्याएँ प्राप्त करता है

मनुष्य किसी वाक्य को क्यों समझ सकता है?

उदाहरण:

“सेब स्वादिष्ट है।”

व्यक्ति अपने आप समझता है कि सेब खाने योग्य फल है, “स्वादिष्ट” एक मूल्यांकन है और पूरा वाक्य एक अनुभव बताता है। यह समझ मस्तिष्क में लंबे समय से जमा ज्ञान और अनुभव से आती है।

कंप्यूटर अलग है। उसकी बुनियादी क्षमता संख्यात्मक गणना है और वह स्वाभाविक रूप से नहीं जानता कि “सेब” किसी फल को दर्शाता है। लार्ज लैंग्वेज मॉडल को मानव भाषा को पहले ऐसी जानकारी में बदलना पड़ता है जिसकी मशीन गणना कर सके।

मानव भाषा
↓
Token
↓
संख्यात्मक निरूपण
↓
एआई मॉडल की गणना
↓
उत्तर का निर्माण

Token इस प्रक्रिया की मध्यवर्ती इकाई है।

2. पहला चरण: एआई आपका टेक्स्ट प्राप्त करता है

मान लें कि आप यह चीनी वाक्य लिखते हैं:

“人工智能正在改变世界。” (आर्टिफ़िशियल इंटेलिजेंस दुनिया बदल रहा है।)

व्यक्ति के लिए यह एक पूरा वाक्य है। एआई को शुरुआत में वर्णों का क्रम मिलता है:

人 / 工 / 智 / 能 / 正 / 在 / 改 / 变 / 世 / 界 / 。

आगे बढ़ने से पहले कंप्यूटर को हर वर्ण की पहचान करनी होती है।

3. दूसरा चरण: Tokenizer टेक्स्ट को Token में बाँटता है

Tokenizer

टेक्स्ट को बाँटने वाले औज़ार को Tokenizer कहते हैं। इसे एआई के पढ़ने से पहले उपयोग होने वाला “काटने का औज़ार” समझें। यह लगातार टेक्स्ट को छोटी इकाइयों में बाँटता है जिन्हें मॉडल प्रोसेस कर सके।

सुपरमार्केट अपने स्टॉक को केवल “एक गाड़ी सामान” नहीं कहता। वह उसे 10 सेब, दूध के 5 डिब्बे और 3 ब्रेड में बाँटता है, ताकि मात्रा गिनी जा सके, स्टॉक संभाला जा सके और कीमत निकाली जा सके।

Tokenizer भी लंबे टेक्स्ट को गिनी और प्रोसेस की जा सकने वाली इकाइयों में बाँटता है।

उदाहरण:

我喜欢人工智能

इसे इस तरह बाँटा जा सकता है:

我 / 喜欢 / 人工 / 智能

या:

我 / 喜 / 欢 / 人 / 工 / 智 / 能

अलग मॉडल अलग विभाजन विधि उपयोग कर सकते हैं।

4. एक ही वाक्य में अलग एआई के Token की संख्या अलग क्यों होती है?

एक ही वाक्य अलग एआई सिस्टम में अलग संख्या में Token बना सकता है, क्योंकि उनके मॉडल अलग Tokenizer उपयोग करते हैं।

उदाहरण:

“Artificial intelligence is changing the world.”

एक मॉडल इसे ऐसे बाँट सकता है:

Artificial / intelligence / is / changing / the / world

दूसरा मॉडल:

Art / ificial / intelligence / is / changing / the / world

अर्थ एक ही है, लेकिन Token की संख्या अलग है।

यह दो गोदामों में एक ही सामान रखने जैसा है। एक बड़े डिब्बे उपयोग करता है और दूसरा छोटे। सामान वही है, लेकिन डिब्बों की संख्या बदल जाती है।

5. तीसरा चरण: Token संख्याओं में बदलते हैं

लार्ज लैंग्वेज मॉडल सीधे शब्दों की गणना नहीं कर सकता। उसे संख्याएँ चाहिए।

टोकनाइजेशन के बाद चीनी अभिव्यक्ति 人工智能 दो Token, 人工 और 智能, में बदल सकती है। फिर हर Token को एक संख्यात्मक पहचान मिलती है:

人工 → 52341
智能 → 81726

ये संख्याएँ केवल उदाहरण हैं। वास्तविक ID मॉडल की शब्दावली पर निर्भर करते हैं।

Token और Token ID

Token को उत्पाद का नाम और Token ID को उसका बारकोड समझें। सुपरमार्केट की प्रणाली “सेब” शब्द से स्टॉक की गणना नहीं करती, बल्कि उत्पाद संख्या उपयोग करती है। एआई भी आगे की गणना के लिए Token ID उपयोग करता है।

6. चौथा चरण: संख्याएँ मॉडल में जाकर गणना बनती हैं

टेक्स्ट के संख्याओं में बदलने के बाद वे संख्याएँ लार्ज लैंग्वेज मॉडल में जाती हैं। मॉडल यह देखता है:

• वर्तमान Token का पिछले संदर्भ से क्या संबंध है;
• कौन-सी जानकारी महत्वपूर्ण है;
• अगली सामग्री क्या होने की सबसे अधिक संभावना है।

अगर उपयोगकर्ता लिखता है:

“चीन की राजधानी है...”

तो मॉडल प्रशिक्षण में सीखे भाषा पैटर्न और ज्ञान संबंधों से अनुमान लगाता है कि अगला संभावित शब्द “बीजिंग” है।

इसका मतलब यह नहीं कि एआई किसी मनुष्य की तरह डेटाबेस खोजता है, किताब खोलता है, उत्तर पाता है और उसकी नकल करता है। वह सीखे हुए भाषा पैटर्न और ज्ञान संबंधों के आधार पर सबसे उचित अगली सामग्री का अनुमान लगाता है।

7. पाँचवाँ चरण: एआई भी एक समय में एक Token बनाता है

बहुत लोग मानते हैं कि एआई पूरा उत्तर भीतर लिखकर एक साथ दिखाता है। लार्ज लैंग्वेज मॉडल सामान्यतः सामग्री को क्रमिक रूप से बनाता है।

अगर आप पूछते हैं:

“आर्टिफ़िशियल इंटेलिजेंस समझाओ।”

तो मॉडल उत्तर को चरणों में बढ़ा सकता है:

आर्टिफ़िशियल इंटेलिजेंस
आर्टिफ़िशियल इंटेलिजेंस एक
आर्टिफ़िशियल इंटेलिजेंस एक ऐसा क्षेत्र है जो कंप्यूटर को
आर्टिफ़िशियल इंटेलिजेंस एक ऐसा क्षेत्र है जो कंप्यूटर को मानव क्षमताओं की नकल करने देता है

तभी पूरा उत्तर बनता है।

एआई इनपुट: टेक्स्ट → Token
एआई आउटपुट: Token → टेक्स्ट

पूरी प्रक्रिया के केंद्र में Token है।

8. Token और मॉडल की क्षमता का क्या संबंध है?

अधिक Token किसी एआई को अधिक बुद्धिमान नहीं बनाते। Token केवल सूचना प्रसंस्करण की इकाई है, जैसे कार का अधिक ईंधन खर्च करना सीधे यह सिद्ध नहीं करता कि उसका प्रदर्शन बेहतर है।

1. मॉडल आर्किटेक्चर

आर्किटेक्चर एआई की डिज़ाइन है और तय करता है कि सिस्टम के भीतर जानकारी कैसे बहती और गणना होती है।

2. प्रशिक्षण डेटा

प्रशिक्षण डेटा तय करता है कि एआई ने क्या सीखा है और उसके ज्ञान व भाषा पैटर्न को प्रभावित करता है।

3. पैरामीटर का पैमाना

पैरामीटर को मॉडल के भीतर सीखे गए सूचना संबंधों के रूप में समझा जा सकता है। उनका पैमाना क्षमता को प्रभावित करने वाला एक कारक है, लेकिन अकेला नहीं।

4. तर्क क्षमता

तर्क क्षमता जटिल समस्याओं का विश्लेषण और समाधान करने की मॉडल की योग्यता है।

Token बुद्धिमत्ता का अंक नहीं, बल्कि काम करते समय एआई द्वारा प्रोसेस की जाने वाली “सामग्री की इकाई” जैसा है।

9. Token बनने की प्रक्रिया उपयोग अनुभव को क्यों प्रभावित करती है?

Token कैसे बनते हैं, यह समझने से कई व्यावहारिक सीमाएँ स्पष्ट होती हैं।

1. चीनी और अंग्रेज़ी में Token की खपत अलग क्यों है?

भाषाओं की संरचना अलग होती है। अंग्रेज़ी का कोई सामान्य शब्द पूरा एक Token हो सकता है, जबकि चीनी वर्ण और शब्द अलग तरीके से विभाजित हो सकते हैं।

इसलिए दिखाई देने में समान लंबाई की सामग्री अलग भाषाओं में अलग संख्या में Token खर्च कर सकती है।

2. लंबी फ़ाइलें सीमा से बाहर क्यों जाती हैं?

लंबी फ़ाइल सामान्यतः अधिक Token में बदलती है। व्यक्ति “एक पुस्तक” देखता है, जबकि एआई के लिए वह सैकड़ों हज़ार Token हो सकती है।

3. एआई में कॉन्टेक्स्ट सीमा क्यों होती है?

मॉडल एक समय में सीमित संख्या में Token प्रोसेस कर सकता है। इस सीमा को कॉन्टेक्स्ट विंडो कहते हैं।

इसे उस सामग्री की मात्रा समझें जिसे एआई एक बार में मेज़ पर रख सकता है। बड़ी मेज़ का अर्थ है कि वह अधिक सामग्री एक साथ देख सकता है।

10. टेक्स्ट से Token और फिर वापस टेक्स्ट तक

पूरी प्रक्रिया:

उपयोगकर्ता टेक्स्ट लिखता है
↓
Tokenizer टेक्स्ट बाँटता है
↓
Token बनते हैं
↓
Token संख्याओं में बदलते हैं
↓
संख्याएँ लार्ज लैंग्वेज मॉडल में जाती हैं
↓
नए Token बनते हैं
↓
Token फिर मानव-पठनीय टेक्स्ट में बदलते हैं
↓
उत्तर दिखाया जाता है

सरल शब्दों में:

Token वह प्रवेश-द्वार है जिससे मानव भाषा एआई की दुनिया में जाती है और वह बुनियादी इकाई भी है जिससे एआई उत्तर बनाता है।

11. अगला लेख: Token पर शुल्क क्यों लगता है?

हर एआई उत्तर में टेक्स्ट रूपांतरण, Token प्रसंस्करण, मॉडल गणना और नए Token का निर्माण होता है।

इससे अगला प्रश्न उठता है:

एआई कंपनियाँ Token के आधार पर शुल्क क्यों लेती हैं?

इनपुट और आउटपुट दोनों पर शुल्क क्यों है? लंबी फ़ाइलें अधिक महँगी क्यों हैं? मॉडल की कीमतों में इतना अंतर क्यों है?

अगला लेख उपयोगकर्ताओं के सबसे महत्वपूर्ण प्रश्न पर केंद्रित होगा: Token की कीमत कैसे तय होती है और एक एआई बातचीत की वास्तविक लागत कितनी है?