Kapitel 1.2 · Visualisierung

Embedding-Raum in 2D

Wörter als Punkte im semantischen Raum – ähnliche Bedeutungen liegen nahe beieinander. Diese t-SNE-Projektion reduziert ~8.000 Dimensionen auf 2D.

Word Embedding Space (t-SNE Projektion)
Dimension 1 (t-SNE)
Dimension 2
Wort suchen
Kategorien
Ausgewähltes Wort
-
-
Nächste Nachbarn:
Klicken Sie auf einen Punkt, um Details zu sehen.
Vektor-Arithmetik
− + = Königin

Klassische Demonstration semantischer Beziehungen im Vektorraum.

💡 Was zeigt diese Visualisierung?

Jedes Wort in einem LLM wird durch einen hochdimensionalen Vektor repräsentiert (z.B. d = 8.192 bei Llama 3 70B). Diese Vektoren erfassen semantische Beziehungen: Wörter mit ähnlicher Bedeutung haben ähnliche Vektoren und liegen im Raum nahe beieinander. Die t-SNE-Projektion macht diese Struktur in 2D sichtbar – beachten Sie die klaren Cluster für Tiere, Länder, Verben und Adjektive.