Wie funktioniert es?
Embeddings lernen semantische Beziehungen während des Trainings. "king" und "queen" haben ähnliche Vektoren, aber die Differenz zu "man"/"woman" kodiert Gender. Diese Differenzvektoren sind konsistent.
Vektorarithmetik
result = E["king"] - E["man"] + E["woman"]. Wir berechnen den nächsten Nachbarn zu diesem Resultat-Vektor (via Cosine-Similarity), oft ist es das erwartete Wort.
Limitation
Diese Analogien funktionieren nicht immer perfekt. Sie hängen von der Trainingsdaten-Qualität ab und können Biases reflektieren. Moderne kontextuelle Embeddings (BERT, GPT) sind komplexer.
Historische Bedeutung
Word2Vec (2013) machte diese Analogien berühmt. Sie zeigten, dass neuronale Embeddings semantische Struktur lernen – ein Durchbruch im NLP.