Nov 2025 – Apr 2026
KI-Bewertung der Anrufqualität
Aufgezeichnete Anrufe, von Gemini transkribiert und nach 8 Kriterien bewertet, mit einer Scorecard für jeden Operator
- KI
- KI-Qualitätskontrolle
- Dauer
- 5 Monate
- Unternehmen
- Boxette Group
- Rolle
- Konzeption des Bewertungsschemas; Aufbau von Workflow und Visual
Überblick
Eine n8n-Pipeline, die jeden aufgezeichneten Callcenter-Anruf von Gemini transkribieren und nach einem Bewertungsschema mit 8 Kriterien bewerten ließ, das Ergebnis in Postgres speicherte, dem Operator eine persönliche Scorecard schickte und ein Power-BI-Dashboard speiste. Sie wurde im November 2025 gebaut und bis April 2026 weiterentwickelt.
Tools
- Gemini
- PostgreSQL
- Power BI
- Mattermost
Zu wenige Anrufe gehört
Die Teamleitungen konnten nur einen kleinen Teil der Anrufe anhören, daher bekamen Operatoren wenig einheitliches Feedback, und die alte Bewertung mit 4 Kriterien war zu grob, um damit zu coachen. Ziel war, jeden Anruf gleich zu bewerten und jedem Operator die Gründe hinter der Punktzahl zu geben.
Ein Bewertungsschema und ein Modelltest
Ich habe ein Bewertungsschema mit 8 Kriterien und 100 Punkten entworfen (Service, Verständlichkeit, Empathie, aktives Zuhören, Genauigkeit, Problemlösung, Effizienz, Umgang mit Stress), mit Abzugsregeln und einem QA-Auditor-Prompt auf Georgisch. Danach wurden Gemini 2.5 Pro und Flash an denselben Anrufen verglichen und die Kosten berechnet. Flash bewertete realistischer (81 gegenüber 93 beim selben Anruf) zu etwa einem Sechstel der Kosten.
So arbeitete die Pipeline
Der n8n-Workflow nahm jeweils einen unbewerteten Anruf aus der Anruftabelle der Telefonanlage und lud die Aufzeichnung herunter; Gemini lieferte ein Transkript, eine Anrufkategorie und die Punktzahlen, die der Workflow auswertete, mit Kosten versah und speicherte. Unlesbare Antworten wurden mit ihren Kosten protokolliert und der Anruf kam zurück in die Warteschlange, und als der LangChain-Gemini-Node bei Audio zu versagen begann, wurde dieser Schritt als direkte HTTP-Anfrage mit eingebettetem Audio neu gebaut. Jeder Operator bekam eine Mattermost-Nachricht mit Punktzahl und Begründung, und ein benutzerdefiniertes Power-BI-Visual in TypeScript ergänzte die Punktetabelle um Kommentar-Tooltips pro Zelle, was die Standardtabelle nicht kann.
Ergebnis
Bis zum 20. April 2026 enthielt die Datenbank 32.013 Anrufe, 2.199 davon von der KI bewertet, mit einem Durchschnitt von 78,4 von 100 Punkten, und bis zum 28. April waren 3.507 Anrufe bewertet. Die erwarteten Kosten für 300 Anrufe pro Tag lagen bei etwa 150 GEL im Monat mit Flash gegenüber etwa 820 GEL mit Pro. Eine neue Fehlerbehandlung holte 124 hängengebliebene Anrufe zurück.