Support-Analyse mit LLMs

Die Geschäftsführung wusste nicht, worüber Kunden tatsächlich schreiben und anrufen, welche Fragen ein Bot oder eine FAQ übernehmen könnte, wo die Wissensdatenbank Lücken hatte oder wie schnell das Support-Team antwortete. Die Daten lagen in Respond.io, das keinen Massenexport von Nachrichtentexten bietet, und in der Datenbank für die Anrufbewertung.

Node.js-Extraktoren ziehen über die API jede Respond.io-Nachricht pro Kontakt in ein eigenes Postgres-Schema, mit Cursor-Paginierung und inkrementellen Updates per Watermark. SQL-Schritte verknüpfen Nachrichten mit Gesprächen, teilen sie in Kontaktepisoden auf und berechnen Service-Level. Danach wurden die Kontakte als kompakte Transkript-Batches für die Modelle exportiert.

Jeder Kontakt wurde nach Themen, Self-Service-Potenzial, offenen Anliegen, Stimmung und Fehlern des Bots klassifiziert, überwiegend mit Gemini Flash; für die Referenzsets kam Claude zum Einsatz. Jedes Modell wurde gegen ein Referenzset kalibriert, und Kennzahlen, bei denen die Modelle uneinig sind, werden als Spannen angegeben. Eine separate Pipeline mit fünf Schritten (Gemini 3.1 Pro mit Context Caching, dann eine Zusammenfassung durch Claude Opus) verglich KI-bewertete Anruftranskripte mit der Wissensdatenbank des Support-Agenten, um fehlende Themen zu finden. Daraus entstanden ein Bericht auf Georgisch, eine Excel-Arbeitsmappe, eine Nachfassliste mit 1.180 ungelösten Kontakten mit negativer Stimmung und eine 19-seitige Empfehlungspräsentation, teils erstellt von Claude-Agenten, die ich orchestriert habe.