Parameter vs Compute Effizienz

Sparse Activation: In einem Dense-Modell wird jeder Parameter für jeden Token verwendet. In einem MoE-Modell aktiviert der Router nur eine Teilmenge der Experten (z.B. Top-2 von 8). Dies reduziert die tatsächliche Compute linear.

Speicher- vs Compute-Trade-off: Sie müssen alle Experten-Parameter im Speicher halten (94 GB), aber Sie nutzen nur 27% davon pro Token. Dies ist in großen Cluster-Umgebungen mit mehreren GPUs praktisch: Man kann Experten über verschiedene Geräte verteilen.

Spezialisierung: Mit 8 Experten können verschiedene Experten spezialisiert werden auf: Grammatik, Semantik, Code, Entitäten, Mathematik, etc. Dies ermöglicht feinere Kontrolle und bessere Performance auf spezialisierten Tasks.

Skalierungsgesetz: Nach dem Chinchilla Optimum sollte man Modellgröße und Datenmenge proportional skalieren. MoE erlaubt asymmetrische Skalierung: Man kann Parameter "günstig" hinzufügen, solange die Experten spezialisiert bleiben.

Praktischer Nutzen: Eine MoE mit 13B aktiver Compute ist schneller als ein Dense 13B Modell der gleichen Qualität, weil die zusätzlichen inaktiven Parameter trotzdem zu besserer Repräsentation führen (mehr Kapazität für verschiedene Konzepte).

Modell-Größenvergleich: Mixtral 8x7B hat 47B Parameter aber wird oft als "equivalente zu GPT-3 13B" benchmarkt (wegen 13B aktiver Parameter). DeepSeek R1 hat 671B Parameter aber nur 37B aktiv – eine 18× "Vergrößerung" mit gleicher Compute!