KAPITEL 2.4 · SPARSE ATTENTION

Lightning Indexer Animation

Schritt für Schritt: Wie der Lightning Indexer funktioniert – von Query-Token über Index-Score bis zur finalen Sparse Attention.

1
Query Token wird aktiviert
Sequenz (Tokens)
Index Scores
Top-K Selection
Sparse Attention
Schritt 1: Der Query-Token (rot hervorgehoben) wird aktiviert. Der Lightning Indexer beginnt zu berechnen, welche Key-Tokens relevant sind.
⚡
Lightning Indexer
Der Indexer berechnet schnell Relevanz-Scores für alle Tokens, ohne dabei alle Attention-Gewichte zu berechnen.
🎯
Top-K Selection
Nur die Top-K relevantesten Tokens werden ausgewählt. Der Rest wird ignoriert, spart aber enorm Memory und Compute.
⚙️
Effiziente Berechnung
Statt O(n²) Attention-Berechnung wird nur O(k) berechnet, wobei k << n. Das ist der Schlüssel zur Skalierbarkeit.
🚀
Production Ready
DSA mit Lightning Indexer ist die erste production-ready Sparse Attention Methode mit Zero Accuracy Regression.