Die erste Frage in fast jedem KI-Agenten-Projekt lautet: Welches Modell nehmen wir? GPT, Claude oder doch Gemini? Es ist die falsche Frage. Sie fühlt sich wichtig an, weil das Modell der sichtbare Teil ist: teuer, in Benchmarks vermessen, mit jedem Release im Newsletter. Über die Qualität deines Agenten entscheidet sie fast nicht.
Denn ein produktiver Agent besteht aus zwei Teilen. Da ist das Modell, das Sprachmodell, das Text versteht und erzeugt. Und da ist der Harness, die eigentliche Architektur drumherum: der ganze Programmcode, der dem Modell Kontext gibt, ihm Werkzeuge in die Hand drückt, seine Ergebnisse prüft und seinen Zustand speichert.
Das Modell ist der Motor. Der Harness ist das restliche Auto. Einen Motor kannst du tauschen. Ein Auto ohne Lenkung, Bremsen und Tank steht trotzdem in der Garage.
Das Modell ist zur Commodity geworden
Warum das Modell so wenig wiegt, sieht man am Preis. Andreessen Horowitz hat den Verfall vermessen: Die Rechenzeit für die Qualität, die 2021 das damalige GPT-3 lieferte, ist von rund 60 US-Dollar je Million Tokens auf etwa 6 Cent gefallen. Faktor tausend in drei Jahren, und für gleichbleibende Leistung sinkt der Preis grob um das Zehnfache pro Jahr.
Das Forschungsinstitut Epoch AI bestätigt den Trend über mehrere Benchmarks mit einem Median von rund 50-fachem Preisverfall pro Jahr. Rechenintelligenz wird nicht teurer. Sie wird verschenkt.
In Zahlen von heute: Ein brauchbares Modell wie Llama 3.1 8B kostet über einen Anbieter wie Groq rund fünf US-Cent je Million Input-Tokens. Fünf Cent. Für eine Million Wörter Denkarbeit im weiteren Sinn. Am oberen Ende zahlst du für ein Spitzenmodell weiterhin ein Vielfaches. Aber die Kurve zeigt in eine Richtung, und die untere Kante, an der „gut genug“ anfängt, rutscht jedes Quartal tiefer.
Für die Architektur heißt das zweierlei. Erstens: Das Modell ist die am schnellsten alternde Zutat im System. Was du heute auswählst, ist in sechs Monaten weder das beste noch das günstigste.
Zweitens: In einem sauber gebauten Agenten ist der Modellwechsel eine Konfigurationszeile, keine Migration. Du behandelst das Modell wie eine Grafikkarte, die du aufrüstest, ohne den Rechner neu zu bauen. Genau das ist der Punkt. Wenn der Wechsel wehtut, hast du die Abhängigkeit an der falschen Stelle eingebaut.
Der Buchhaltungs-Agent läuft auf dem Billig-Modell
Ein Beispiel, das die These greifbar macht. Nimm einen Agenten, der eingehende Rechnungen vorkontiert: Beleg lesen, Lieferant erkennen, Positionen den richtigen Konten im Kontenrahmen zuordnen, bei Unklarheit zur Freigabe eskalieren. Eine Aufgabe, an der in vielen Mittelständlern jeden Monat jemand Stunden verbringt.
Diese Arbeit braucht kein Grübel-Modell. Der schwierige Teil ist nicht das Nachdenken, sondern das zuverlässige Extrahieren, das Abgleichen mit dem Kontenrahmen und das Anwenden der Regeln, die dieser eine Betrieb für diesen einen Lieferanten hat.
Das leistet nicht die Brillanz des Modells, das leistet der Harness: die Anbindung an DATEV oder das ERP, die Prüfregeln, das Gedächtnis für frühere Buchungen desselben Lieferanten, die Freigabeschleife für alles über einem Schwellenwert. Ein günstiges Modell füllt die Felder zuverlässig aus. Ein zehnmal teureres füllt dieselben Felder aus, nur teurer.
Rechne die Modellkosten grob nach. Pro Beleg fallen mit Kontext, Werkzeugaufrufen und strukturierter Ausgabe vielleicht drei- bis fünftausend Tokens an. Bei zehntausend Belegen im Monat sind das einige zehn Millionen Tokens. Selbst großzügig gerechnet, mit Wiederholungen und Prüfschleifen, bleibt die reine Modell-Rechenzeit dieses Agenten bei wenigen Euro im Monat. Weniger als das Mittagessen, mit dem das Team den Go-live feiert.
Wo liegt dann das Geld, und wo die Qualität? In allem, was nicht das Modell ist: in der sauberen Schnittstelle zur Buchhaltung, in den Regeln, im Gedächtnis, in der Kontrolle. Tausch in diesem Agenten das billige gegen das teuerste Frontier-Modell, und er wird kaum besser, weil das Modell nie der Engpass war.
Das gilt für gut abgegrenzte, strukturierte Aufgaben, und das sind die meisten Agenten, die im Mittelstand echten Nutzen stiften. Für offene Recherche oder verschachteltes Reasoning brauchst du mehr Modell; ein Agent, der aus zehn Quartalsberichten eine belastbare Wettbewerbsanalyse baut, ist kein Fall für das Fünf-Cent-Modell. Der Buchhaltungs-Agent schon.
Die vier Teile, die wirklich über Qualität entscheiden
Wenn nicht das Modell, was dann? Vier Dinge. Und alle vier baust du selbst, du kaufst sie nicht im Anbieter-Abo mit.
Kontext ist der erste und meist unterschätzte Hebel. Ein Modell ist immer nur so gut wie das, was zum Entscheidungszeitpunkt in seinem Fenster steht. Der Buchhaltungs-Agent, der genau den passenden Ausschnitt aus Kontenrahmen und Lieferantenhistorie sieht, kontiert richtig. Derselbe Agent, dem du den kompletten Datenwust in den Prompt kippst, rät. Die Disziplin dahinter hat inzwischen einen Namen, Context Engineering, und sie ist der Teil der KI-Agent-Architektur, in dem heute die meiste Qualität gewonnen und verloren wird.
Das Gedächtnis ist der Unterschied zwischen einer Demo und einem Mitarbeiter. Ohne Persistenz beginnt jeder Lauf bei null: ein sehr schneller Praktikant, der jeden Morgen vergisst, was er gestern gelernt hat. Ein Agent mit Gedächtnis erinnert sich an Lieferantenmuster, an frühere Korrekturen, an den Stand eines laufenden Vorgangs. Er wird über Wochen besser, ohne dass jemand das Modell anfasst. Genau diese Fähigkeit, aus der Nutzung zu lernen, macht aus Software einen Kollegen.
Bei der Tool-Anbindung entscheidet sich, ob der Agent Hände hat. Ein Modell, das DATEV, ERP oder CRM nicht erreicht, ist ein Chatbot mit guter Aussprache. Hier hat sich mit dem Model Context Protocol (MCP) ein offener Standard etabliert, über den Agenten und Fachsysteme miteinander sprechen.
Der eigentliche Grund, warum das strategisch zählt: Wenn deine Integrationen als MCP-Server gebaut sind, bleibt das Modell steckbar. Der Standard sitzt zwischen Agent und System. Das konkrete LLM bleibt austauschbar. So hältst du dir den nächsten, garantiert kommenden Modellwechsel offen.
Zuletzt die Selbstverbesserung, und das ist der Teil, den kein Wettbewerber mit einem Modell-Upgrade einholt. Ein Agent wird nicht besser, indem du das teurere Modell einsetzt. Er wird besser, indem du misst und nachziehst: Testfälle aus echten Belegen, definierte Erfolgskriterien, Feedback-Schleifen, in denen jede menschliche Korrektur wieder ins System fließt.
Der Effekt summiert sich. Der eine Buchhaltungs-Agent eskaliert nach sechs Monaten noch jeden dritten Beleg zur manuellen Freigabe, der andere nur noch jeden zwanzigsten. Gleiche Modell-Version, anderer Eval-Prozess. Zwei Firmen mit demselben Modell betreiben nach einem halben Jahr zwei völlig verschiedene Agenten.
Was die Harness-These für deine KI-Agent-Architektur heißt
Die praktische Konsequenz ist unbequem, weil sie die spannende Frage nach hinten schiebt und die langweilige nach vorn.
Baue modell-agnostisch. Kein Prompt, keine Geschäftslogik gehört hart an einen Anbieter gekettet. Wenn der Wechsel von einem LLM zum nächsten mehr ist als eine Konfigurationsänderung, ist das ein Architekturfehler, kein Naturgesetz. MCP und eine saubere Abstraktionsschicht sind die Versicherung gegen den Anbieter, der morgen die Preise verdoppelt oder ein Modell abkündigt.
Steck deine Energie in Kontext, Gedächtnis, Anbindung und Evaluation. Dort liegt die Qualität, und dort liegt der Vorsprung, der bleibt.
Und halte die Reihenfolge ein: erst der Prozess, dann die Automatisierung, dann der Agent. Alles, was sich als fester Ablauf beschreiben lässt, gehört in klassische KI-Automatisierung, bevor überhaupt ein Agent nötig wird. Wie dieser Aufbau mit Aufgabenzuschnitt, Orchestrator-Worker-Muster und Guardrails konkret aussieht, haben wir in KI-Agenten als digitale Mitarbeiter beschrieben.
Die Modellwahl wird damit zu dem, was sie sein sollte: eine späte, günstige, umkehrbare Entscheidung. Starte auf dem billigen Modell. Rüste nur dort auf, wo deine eigenen Tests beweisen, dass sich der Aufpreis in besseren Ergebnissen niederschlägt, nicht weil das Release gerade Schlagzeilen macht. Wenn du diesen Weg mit externer Unterstützung gehen willst, sind genau diese Architektur-Entscheidungen der Kern unserer KI-Beratung.
Die Debatte über das richtige Modell ist die lauteste und die unwichtigste im Raum. Die Unternehmen, deren Agenten funktionieren, haben selten das beste Modell. Sie haben den besten Harness. Das Modell ist Commodity. Der Harness ist dein Produkt.
