🤖 Intelligence Artificielle
Token
Unité de traitement lexical
Définition
Unité de base du traitement de texte par les LLMs. Un token correspond approximativement aux trois quarts d'un mot en français. La plupart des modèles facturent à l'usage en tokens.
Exemples concrets
- 1Bonjour = 1 token. Intelligence artificielle = environ 3 tokens
- 2GPT-4 coûte environ 0,03 dollar pour 1 000 tokens en entrée
Termes liés
LLM
Modèle de langage de grande taille entraîné sur d'immenses corpus de textes. Les LLMs (GPT-4, Claude...
Context window
Quantité maximale de texte qu'un modèle peut traiter en une seule fois, mesurée en tokens. Plus la f...
Inference
Phase d'utilisation d'un modèle IA entraîné pour générer des prédictions ou du texte. Par opposition...