Was ist RAG und warum ist es teuer?
Retrieval-Augmented Generation (RAG) ist eine Technik, bei der KI-Modelle vor der Antwortgenerierung relevante Dokumente aus einer Datenbank abrufen. Das macht die Antworten präziser — aber es erhöht auch die Token-Kosten erheblich.
**Warum RAG teuer wird:**
Die 5 häufigsten RAG-Kostenfallen
1. Zu viele Chunks abrufen (Top-K zu hoch)
```python
# Schlecht: 20 Chunks abrufen
results = vectorstore.similarity_search(query, k=20)
# Gut: Nur 3-5 relevante Chunks
results = vectorstore.similarity_search(query, k=4)
```
**Einsparung: 75% weniger Kontext-Token**
2. Zu große Chunk-Größen
Optimale Chunk-Größe für die meisten Anwendungsfälle: **200-400 Token**
| Chunk-Größe | Token/Anfrage | Qualität |
| :--- | :--- | :--- |
| 1.000 Token | 5.000+ | Gut |
| 400 Token | 2.000 | Gut |
| 200 Token | 1.000 | Sehr gut |
3. Kein Relevanz-Schwellenwert
Filtere Chunks mit niedrigem Ähnlichkeitsscore heraus:
```python
results = [doc for doc in results if doc.score > 0.75]
```
4. Redundante Chunks nicht entfernen
Ähnliche Chunks zusammenführen spart 20-30% Token.
5. Kein Chunk-Caching
Häufig abgerufene Chunks cachen statt neu generieren.
Optimierte RAG-Architektur
```
Anfrage → Embedding → Vektordatenbank
→ Top-5 Chunks (Score > 0.75)
→ Duplikate entfernen
→ Auf 400 Token kürzen
→ An KI-Modell senden
```
**Ergebnis: 60-70% weniger Token bei gleicher Qualität**
DSGVO-konforme Vektordatenbanken für Deutschland
| Lösung | Hosting | DSGVO |
| :--- | :--- | :--- |
| **Chroma (self-hosted)** | Eigener Server | ✅ |
| **Weaviate Cloud (EU)** | Frankfurt | ✅ |
| **Qdrant Cloud (EU)** | Deutschland | ✅ |
| **pgvector (PostgreSQL)** | Eigener Server | ✅ |
Häufig gestellte Fragen
**F: Welche Chunk-Größe ist optimal für deutsche Texte?**
Da deutsche Texte mehr Token pro Wort verbrauchen, empfehlen wir 150-300 Token pro Chunk statt 200-400 bei englischen Texten.
**F: Lohnt sich RAG für kleine Unternehmen?**
Ab einer Wissensbasis von 50+ Dokumenten ist RAG sinnvoll. Für kleinere Datensätze reicht oft ein erweiterter System-Prompt.