Token:You are a helpful assistant. Answer questions accurately.
<|/system|>System Prompt End
<|user|>User Message Start
Token:What is machine learning?
<|/user|>User Message End
<|assist|>Model Output Tokens (generated)
System Prompt (speichert Instruktionen)
User Message (aktuelle Anfrage)
Assistant Output (generiert)
Wichtig: System Prompt ist eine normale Token-Sequenz mit speziellen Markern. Es gibt keine "magische" interne Behandlung - es wird wie andere Tokens verarbeitet.
Attention auf System Prompt
Wie sehr attendiert das Modell auf unterschiedliche Positionen (System vs. User)?
User (neu)
↕
System (alt)
System
→
User
Beobachtung: System Prompt (oben) erhält mehr Attention-Gewicht. User Message (unten) attendiert stark auf System Prompt am Anfang aufgrund von Causal Masking und Recency Bias.