Wat is tokenisatie in AI‑taalmodellen?

Tokenisatie is het proces waarbij tekst wordt opgesplitst in kleinere eenheden die tokens worden genoemd, en die AI‑taalmodellen gebruiken om tekst te begrijpen en te verwerken. Een token kan een woord, een deel van een woord of zelfs een enkel teken zijn. Bijvoorbeeld, “hello” kan één token zijn, terwijl “unprecedented” kan worden opgesplitst in meerdere tokens zoals “un”, “pre”, “cedent” en “ed”. Het begrijpen van tokenisatie is cruciaal omdat AI‑modellen tokenlimieten hebben voor hun invoer en uitvoer, en API‑kosten vaak worden berekend op basis van het aantal gebruikte tokens.

Tool‑beschrijving

De GPT Tokenizer‑tool laat je precies zien hoe de verschillende GPT‑modellen van OpenAI tekstinvoer tokeniseren. Je kunt elke tekstprompt invoeren en kiezen uit een breed scala aan GPT‑modellen om de token‑opdeling te bekijken met een kleurgecodeerde visualisatie. Elke token wordt gemarkeerd met een unieke kleur, waardoor het eenvoudig is te zien hoe het model jouw tekst verwerkt. De tool toont het totale aantal tokens en geeft speciale tekens weer (spaties als stippen en regeleinden als pijlen) voor betere zichtbaarheid.

Voorbeelden

Invoer:

  • Model: GPT-5
  • Prompt: “Hello, how are you today?”

Uitvoer:

  • Tokens: 7
  • Visualisatie: Elk woord/teken wordt in een andere kleur weergegeven

Functies

  • Ondersteuning voor meerdere modellen: Kies uit meer dan 30 GPT‑ en OpenAI‑modellen
  • Realtime tokenisatie: Zie tokens direct updaten terwijl je typt
  • Kleurgecodeerde visualisatie: Elke token krijgt een unieke kleur voor gemakkelijke identificatie

Ondersteunde modellen

De tool ondersteunt de volgende OpenAI‑modellen:

ChatGPT‑serie:

  • ChatGPT-4o Latest

GPT‑5‑serie:

  • GPT-5
  • GPT-5 Pro
  • GPT-5 mini
  • GPT-5 nano

GPT‑4.x‑serie:

  • GPT-4.5 Preview
  • GPT-4.1
  • GPT-4.1 mini
  • GPT-4.1 nano

GPT‑4‑serie:

  • GPT-4o
  • GPT-4o mini
  • GPT-4
  • GPT-4 turbo

GPT‑3.5‑serie:

  • GPT-3.5 turbo
  • GPT-3.5 turbo instruct

O‑serie (Redeneringsmodellen):

  • o4-mini
  • o3
  • o3-mini
  • o3-pro
  • o1
  • o1-mini
  • o1-preview
  • o1-pro

Legacy‑modellen:

  • text-davinci-003
  • text-davinci-002
  • text-davinci-001