Interaktives Tutorial

Wie moderne Large Language Models funktionieren

Von der Eingabe bis zur Antwort – erkunden Sie die Architektur hinter GPT-4, Claude und Llama. Klicken Sie auf einen Baustein, um mehr zu erfahren.

📝

Eingabe

Text / Prompt

✂️

Tokenizer

BPE / ~100k Tokens

🎯

Embeddings

d = 8.192 dim

Stage 4: Transformer (main, expandable)

🔮

Transformer Stack

×80 Blöcke (Llama 3 70B)

Transformer-Block Struktur

🔮

➕

Residual + RMSNorm

⚡

SwiGLU Feedforward

➕

Residual + RMSNorm

📊

Output Layer

Stage 6: Sampling

🎲

Sampling

📝 Eingabe

Kapitel 1

Der Nutzer gibt einen Text-Prompt ein. Dieser kann eine Frage, eine Anweisung oder ein Kontext sein.