Few-Shot Learning – LLM Explorer

Konzept: Few-Shot Learning

Few-Shot Learning bedeutet, dass das Modell durch wenige Input-Output-Beispiele im Prompt lernt, ein Muster zu erkennen und auf neue Inputs anzuwenden – ohne dass Parameter aktualisiert werden.

Attention Pattern Matching

Attention erkennt die Struktur der Beispiele und wendet sie auf neue Inputs an.

Format > Korrektheit

Die Struktur der Beispiele ist wichtiger als inhaltliche Korrektheit (Min et al.).

Diminishing Returns

Performance steigt schnell mit 1-5 Beispielen, dann plateaut sie.

Experiment: Korrekte vs. Falsche Labels

Vergleich: Gleiches Format mit korrekten Labels vs. zufälligen Labels

✓ Mit korrekten Labels

Input: "Great product!"

Output: Positive

Input: "Broken device"

Output: Negative

Input: "It works fine"

Output: Positive

Erwartete Accuracy: 85-90%

⚡ Mit zufälligen Labels

Input: "Great product!"

Output: Negative

Input: "Broken device"

Output: Positive

Input: "It works fine"

Output: Neutral

Erwartete Accuracy: 60-70%

Schlüssel-Erkenntnis (Min et al., 2022):
Selbst mit zufälligen Labels erreicht das Modell bessere Performance als ohne Beispiele! Das beweist: Die Struktur und Format der Beispiele ist wichtiger als inhaltliche Korrektheit.

N-Shot vs. Accuracy (Diminishing Returns)

Beobachtung: Accuracy steigt steil von 0-Shot → 1-Shot → 5-Shot, dann plateaut sie. Nach ~8-10 Beispielen bringt jedes weitere Beispiel wenig Verbesserung (Diminishing Returns).

Praktische Empfehlung: 3-5 hochwertige Beispiele sind meist optimal. Mehr Beispiele verlängern den Prompt (höhere Kosten) ohne signifikante Verbesserung.

Best Practices für Few-Shot Prompts

1. Konsistentes Format

Alle Beispiele müssen das gleiche Format haben (XML-Tags, JSON, Markdown).

2. Relevante Beispiele

Beispiele sollten die Vielfalt der erwarteten Eingaben abdecken.

3. Strukturierte Tags

Verwende XML/JSON zur klaren Demarkation von Input und Output.

4. Optimale Anzahl

Starte mit 1-3 Beispielen, teste bis max. 10.

5. Korrektheit wichtig

Während Format wichtiger ist, sollten Labels trotzdem korrekt sein.

6. Positionierung

Hochwertige Beispiele eher am Anfang platzieren.

Beispiel: Few-Shot Prompt-Struktur

// System Prompt

You are a sentiment analyzer.

// Few-Shot Examples

<output>Positive</output>

</example1>

<input>Terrible experience</input>

<output>Negative</output>

</example2>

// New Query