De una frase a una secuencia de números: ¿cómo crea Token la IA?
Resumen
Explicación paso a paso de cómo un Tokenizer divide el texto, asigna Token ID, alimenta el modelo y genera una respuesta Token a Token.
La frase que escribes no es lo que realmente ve la IA
Utilizar IA parece muy sencillo. Escribes:
«Redacta un correo en inglés para mi cliente».
La IA responde:
“Dear Customer...”
Parece que una persona habla, la IA entiende y contesta. Sin embargo, detrás de la interfaz la entrada atraviesa una conversión compleja. La IA no lee el texto directamente como una persona. Antes de entrar en un gran modelo de lenguaje, el contenido sigue este recorrido:
Texto → Token → Números → Cálculo del modelo
Los Token son el puente entre el lenguaje humano y el modelo de IA.
1. Las personas ven texto; la IA recibe números
¿Por qué una persona puede entender una frase?
Por ejemplo:
«Las manzanas están ricas».
Una persona entiende automáticamente que una manzana es una fruta comestible, que «está rica» es una valoración y que la frase describe una experiencia. Esta comprensión procede del conocimiento y la experiencia acumulados por el cerebro.
Un ordenador es diferente. Su capacidad básica es el cálculo numérico y no sabe de forma innata que «manzana» se refiere a una fruta. Un gran modelo de lenguaje debe convertir primero el lenguaje humano en información calculable.
Lenguaje humano
↓
Token
↓
Representación numérica
↓
Cálculo del modelo de IA
↓
Respuesta generada
El Token es la unidad intermedia de este proceso.
2. Primer paso: la IA recibe el texto
Supongamos que introduces esta frase en chino:
“人工智能正在改变世界。” («La inteligencia artificial está cambiando el mundo»).
Para una persona es una oración completa. La IA recibe inicialmente una secuencia de caracteres:
人 / 工 / 智 / 能 / 正 / 在 / 改 / 变 / 世 / 界 / 。
El ordenador debe identificar primero cada carácter antes de continuar.
3. Segundo paso: el Tokenizer divide el texto en Token
El Tokenizer
La herramienta que divide el texto se llama Tokenizer. Puede entenderse como una herramienta de corte que la IA utiliza antes de leer: separa el texto continuo en unidades pequeñas que el modelo puede procesar.
Un supermercado no describe su inventario como «un carro de productos». Lo separa en diez manzanas, cinco cajas de leche y tres panes para contar cantidades, gestionar existencias y calcular precios.
El Tokenizer hace algo parecido: divide un texto largo en unidades contables y procesables.
Por ejemplo:
我喜欢人工智能
podría dividirse así:
我 / 喜欢 / 人工 / 智能
o así:
我 / 喜 / 欢 / 人 / 工 / 智 / 能
Cada modelo puede utilizar un método de división distinto.
4. ¿Por qué la misma frase puede tener distintos números de Token?
Una frase puede producir cantidades distintas de Token en diferentes sistemas de IA porque sus modelos utilizan Tokenizer diferentes.
Por ejemplo:
“Artificial intelligence is changing the world.”
Un modelo podría dividirla así:
Artificial / intelligence / is / changing / the / world
Otro modelo podría hacerlo así:
Art / ificial / intelligence / is / changing / the / world
El significado es el mismo, pero cambia el número de Token.
Es como almacenar la misma mercancía en dos almacenes: uno utiliza cajas grandes y otro cajas pequeñas. El contenido es idéntico, pero no la cantidad de cajas.
5. Tercer paso: los Token se convierten en números
Un gran modelo de lenguaje no puede calcular directamente con palabras. Necesita números.
Después de la tokenización, la expresión china 人工智能 podría convertirse en dos Token, 人工 y 智能. A continuación, cada Token se asocia a un identificador numérico:
人工 → 52341
智能 → 81726
Estas cifras solo sirven como ejemplo. Los identificadores reales dependen del vocabulario del modelo.
Token y Token ID
Un Token se parece al nombre de un producto y un Token ID a su código de barras. El sistema de un supermercado utiliza el número de producto, no la palabra «manzana», para calcular el inventario. La IA utiliza los Token ID de forma similar para sus cálculos posteriores.
6. Cuarto paso: los números entran en el modelo
Cuando el texto se ha convertido en números, estos entran en el gran modelo de lenguaje. El modelo evalúa:
- cómo se relaciona el Token actual con el contexto anterior;
- qué información es importante;
- qué contenido tiene más probabilidades de aparecer después.
Si el usuario escribe:
«La capital de China es...»
el modelo utiliza patrones lingüísticos y relaciones de conocimiento aprendidos durante el entrenamiento para determinar que «Pekín» es una continuación probable.
Esto no significa que la IA consulte una base de datos como alguien que abre un libro, encuentra una respuesta y la copia. Predice el contenido siguiente más razonable a partir de los patrones y relaciones aprendidos.
7. Quinto paso: la IA también genera un Token cada vez
Muchas personas suponen que la IA escribe una respuesta completa internamente y después la muestra de una vez. Los grandes modelos suelen generar el contenido de forma incremental.
Si preguntas:
«Explica la inteligencia artificial».
el modelo puede construir la respuesta por etapas:
La inteligencia artificial
La inteligencia artificial es
La inteligencia artificial es un campo que permite a los ordenadores
La inteligencia artificial es un campo que permite a los ordenadores simular capacidades humanas
Así aparece finalmente la respuesta completa.
Entrada de IA: texto → Token
Salida de IA: Token → texto
Los Token ocupan el centro de todo el proceso.
8. ¿Qué relación existe entre los Token y la capacidad del modelo?
Una mayor cantidad de Token no hace que una IA sea más inteligente. El Token es solo una unidad de procesamiento de información, igual que consumir más combustible no demuestra directamente que un automóvil tenga mejor rendimiento.
1. Arquitectura del modelo
La arquitectura es el diseño de la IA y determina cómo circula y se calcula la información dentro del sistema.
2. Datos de entrenamiento
Los datos determinan qué ha aprendido la IA e influyen en los conocimientos y patrones lingüísticos que puede utilizar.
3. Escala de parámetros
Los parámetros pueden verse como relaciones de información aprendidas dentro del modelo. Su escala influye en la capacidad, pero no es el único factor.
4. Capacidad de razonamiento
Es la capacidad del modelo para analizar y resolver problemas complejos.
Los Token se parecen más a las «unidades de material» que procesa la IA mientras trabaja que a una puntuación de inteligencia.
9. ¿Por qué la creación de Token afecta a la experiencia?
Entender cómo se crean los Token explica varios límites prácticos.
1. ¿Por qué el chino y el inglés consumen cantidades distintas?
Los idiomas tienen estructuras diferentes. Una palabra inglesa frecuente puede corresponder a un Token, mientras que los caracteres y palabras chinos pueden dividirse de otra manera.
Por eso, contenidos de longitud visual similar pueden consumir distintas cantidades de Token según el idioma.
2. ¿Por qué los archivos largos superan los límites?
Un archivo más largo suele convertirse en más Token. Una persona ve «un libro», mientras que la IA puede ver cientos de miles de Token.
3. ¿Por qué la IA tiene un límite de contexto?
El modelo solo puede procesar una cantidad limitada de Token a la vez. Ese límite se denomina ventana de contexto.
Puede imaginarse como la cantidad de material que la IA puede colocar sobre una mesa. Una mesa mayor permite considerar más información al mismo tiempo.
10. Del texto a los Token y de vuelta al texto
El proceso completo es:
El usuario introduce texto
↓
El Tokenizer divide el texto
↓
Se crean los Token
↓
Los Token se convierten en números
↓
Los números entran en el gran modelo
↓
Se generan nuevos Token
↓
Los Token vuelven a convertirse en texto legible
↓
Se muestra la respuesta
En resumen:
Los Token son la entrada por la que el lenguaje humano llega al mundo de la IA y las unidades básicas que la IA utiliza para producir una respuesta.
11. Próximo artículo: ¿por qué se cobran los Token?
Cada respuesta de IA implica convertir texto, procesar Token, realizar cálculos y generar nuevos Token.
Esto conduce a la siguiente pregunta:
¿Por qué las empresas de IA cobran por Token?
¿Por qué se cobran tanto la entrada como la salida? ¿Por qué cuestan más los archivos largos? ¿Por qué varía tanto el precio entre modelos?
El próximo artículo abordará la cuestión que más interesa a los usuarios: ¿cómo se fija el precio de los Token y cuánto cuesta realmente una conversación con IA?
Equipo editorial
Product Team @ WebCal
El equipo oficial de producto de WebCal. Construimos infraestructura de cómputo de alto rendimiento y soluciones cloud descentralizadas.
