Blog

Caching, Batch, Routing: die technischen Spar-Hebel — verständlich erklärt

Von Franz Bauer · 3. Juli 2026 · 4 Min. Lesezeit

Neben der Modellwahl gibt es drei technische Hebel, die Kosten drastisch senken — unsichtbar für die Nutzer. Hier in Alltagssprache erklärt.

Caching: dasselbe nicht zweimal bezahlen

Viele KI-Anwendungen schicken immer wieder denselben großen System-Prompt oder denselben Kontext mit. Caching speichert diesen wiederkehrenden Teil zwischen — der Anbieter berechnet ihn beim nächsten Mal stark reduziert statt voll. Bei stabilen, großen Prompts spart das bis zu 90 % auf dem gecachten Anteil.

Batch: Geduld wird belohnt

Nicht jede Aufgabe muss in Sekunden fertig sein. Für Jobs, die auch über Nacht laufen dürfen (Massen-Klassifikation, Reports, Datenanreicherung), bieten die Anbieter Batch-APIs — oft rund 50 % günstiger als der Echtzeit-Tarif. Reine Umleitung, kein Qualitätsverlust.

Routing: den günstigen Weg zuerst

Ein Router schickt jede Anfrage zum passenden Modell: einfache Fälle ans günstige, komplexe ans starke. Eine „Kaskade" geht noch weiter — das günstige Modell antwortet, und nur bei niedriger Konfidenz wird an das teure eskaliert. So läuft der Großteil des Verkehrs billig, ohne dass die schwierigen Fälle leiden.

Warum das zusammen so stark ist

Einzeln bringt jeder Hebel etwas; kombiniert summieren sie sich schnell auf 30–60 %. Und das Beste: Der Nutzer merkt nichts — gleiche Antworten, gleiche Geschwindigkeit dort, wo es zählt, nur eine deutlich niedrigere Rechnung.