Token en IA
Un token es una unidad de representación que un modelo utiliza para procesar información, como una palabra, parte de ella o un signo
Qué significa, cómo se usa y en qué contexto aparece, con sus conceptos relacionados.
Qué es y cómo funciona
La división depende del sistema de tokenización y del tipo de contenido. Los límites de contexto y parte del coste de algunos servicios se expresan en tokens. Un token no equivale de forma fija a una palabra o a un número de caracteres.
También se dice
Token de lenguaje