Découper le texte en tokens
Une IA ne lit ni lettre par lettre, ni mot par mot. Elle découpe le texte en tokens, et chaque token a un numéro dans son dictionnaire, qui en compte entre 100 000 et 200 000. Écris ce que tu veux et regarde le découpage : certains mots restent entiers, d’autres sont coupés. D’après toi, qu’est-ce qui décide ?
Le petit point devant un token, c’est l’espace. Il fait partie du token : « ·frites » et « frites » ont deux numéros différents.
Les mots rares sont coupés en morceaux. « Anticonstitutionnellement » coûte 4 tokens, « chat » un seul. Le dictionnaire garde entiers les mots fréquents et assemble les autres avec des bouts de mots.
Un emoji coûte plusieurs tokens : la machine le lit comme une suite d’octets, les briques du codage informatique.
Découpage simplifié pour l’exemple. Chaque IA a son propre dictionnaire de tokens.
Deviner le token suivant
Une IA qui écrit fait une seule chose, encore et encore : donner une probabilité à chaque token possible pour la suite. Elle en tire un au sort, l’ajoute au texte, puis relit tout pour choisir le suivant. Cette boucle tourne des centaines de fois pour une seule réponse. À toi de la faire tourner. Comment elle calcule ces probabilités ? On ouvre le moteur aux étapes 4 et 5.
Même question, réponse différente : c’est le tirage au sort. Recommence et tire plusieurs fois, la phrase change.
Monte la température au maximum : les tokens improbables comme « brocoli » gagnent leur chance.
Probable n’est pas vrai
On demande à la machine de compléter une phrase sur le premier humain qui a marché sur Mars. Regarde quel token arrive en tête et avec quelle confiance, puis vérifie dans la réalité. Que s’est-il passé, et pourquoi ?
1. Des morceaux
L’IA découpe le texte en tokens et remplace chacun par une liste de nombres.
2. Du contexte
Chaque token regarde ceux d’avant pour comprendre le sens de la phrase.
3. Un pari
Elle parie sur le token le plus probable, encore et encore. Probable ne veut pas dire vrai : vérifie.
Faire attention au contexte
Pour bien deviner, chaque token regarde les tokens écrits avant lui et décide lesquels comptent pour le comprendre. C’est le mécanisme d’attention, le cœur des IA actuelles. Touche un mot : plus l’arc est épais, plus il y fait attention.
Un token regarde seulement en arrière. Les mots grisés n’existent pas encore quand il est lu.
Un vrai modèle fait ce calcul des dizaines de fois en parallèle, dans chaque couche de la machine.
Ranger les mots par sens
Dernier étage du moteur : pour la machine, chaque token devient une liste de nombres, ses coordonnées dans un immense espace. Ici, cet espace est aplati en 3 dimensions pour que tu puisses le visiter (un vrai modèle en utilise des milliers). Tourne, zoome, touche des mots : lesquels sont voisins, et qu’ont-ils en commun ?
Repère « souris » : coincée entre les animaux et le numérique. Rongeur ou souris d’ordinateur ? Seul le contexte permet de trancher : c’est l’attention, vue à l’étape 4.
Les milliers de points gris au fond, ce sont tous les autres tokens du dictionnaire.