KI-Architektur- & Produktions-Review
Für Gründer und CTOsEin unabhängiger Blick auf ein KI-/ML-System, das in Produktion ist oder kurz davor steht. Bleibt es unter Last und Budgetdruck stabil, sind die richtigen Bausteine gewählt (ML, LLMs, Embeddings, Retrieval, Agents), und was muss zuerst angegangen werden?
Wann es sinnvoll ist
- Der Prototyp hat alle überzeugt. Jetzt muss er echtem Traffic, echten Budgets und echten Fehlerfällen standhalten.
- Qualität, Latenz oder Inferenzkosten laufen in die falsche Richtung, und niemand kann genau sagen, warum.
- Ein größerer Ausbau, ein Plattformwechsel oder eine Schlüsseleinstellung steht an, und vorher soll eine zweite Meinung her.
Was ich mir anschaue
- Architektur und Datenflüsse, vom Systementwurf bis zum Deployment
- Evaluation: Wird Qualität wirklich gemessen (offline, A/B-Testing)?
- Serving, Latenz und Kosten pro Request
- Observability, Drift-Monitoring, Fehlerfälle
- Reproduzierbarkeit, CI/CD, Tests, die etwas aussagen
- Make or buy, und ob das Team das System betreiben kann
Was dabei herauskommt
Ein schriftlicher Bericht mit priorisierten Findings und ein Termin mit dem Team, um ihn durchzugehen. So konkret, dass die Engineers am nächsten Tag mit dem ersten Punkt anfangen können.
Format
In der Regel zwei bis drei Wochen in Teilzeit. Ich lese Code, Doku und Dashboards und spreche mit den Leuten, die das System bauen und betreiben.