nov 2025 – apr 2026
Valutazione AI della qualità delle chiamate
Chiamate registrate, trascritte e valutate da Gemini su una griglia di 8 criteri, con una pagella per ogni operatore
- IA
- Controllo qualità con AI
- Durata
- 5 mesi
- Azienda
- Boxette Group
- Ruolo
- Progettazione della griglia di valutazione; sviluppo del workflow e dell’oggetto visivo
Panoramica
Una pipeline n8n che prendeva ogni chiamata registrata del call center, la faceva trascrivere a Gemini e valutare secondo una griglia di 8 criteri, salvava il risultato in Postgres, inviava all’operatore una scheda di valutazione personale e alimentava una dashboard Power BI. È stata realizzata a novembre 2025 e sviluppata fino ad aprile 2026.
Strumenti
- Gemini
- PostgreSQL
- Power BI
- Mattermost
Troppe poche chiamate ascoltate
I supervisori potevano ascoltare solo una piccola parte delle chiamate, quindi gli operatori ricevevano pochi riscontri coerenti, e la vecchia valutazione su 4 criteri era troppo approssimativa per usarla nel coaching. L’obiettivo era valutare ogni chiamata allo stesso modo e dare a ogni operatore le ragioni del punteggio.
Una griglia e un test dei modelli
Ho progettato una griglia da 8 criteri e 100 punti (servizio, chiarezza, empatia, ascolto attivo, accuratezza, risoluzione dei problemi, efficienza, gestione dello stress) con regole di detrazione e un prompt in georgiano da auditor QA. Gemini 2.5 Pro e Flash sono stati poi confrontati sulle stesse chiamate, costi compresi. Flash dava punteggi più realistici (81 contro 93 sulla stessa chiamata) a circa un sesto del costo.
Come funzionava la pipeline
Il workflow n8n prendeva una chiamata non valutata alla volta dalla tabella delle chiamate del centralino e scaricava la registrazione; Gemini restituiva una trascrizione, una categoria di chiamata e i punteggi, e il workflow li analizzava, ne calcolava il costo e li salvava. Le risposte illeggibili venivano registrate con il loro costo e la chiamata tornava in coda; quando il nodo Gemini di LangChain ha cominciato a fallire sull’audio, quel passaggio è stato ricostruito come richiesta HTTP diretta con l’audio inline. Ogni operatore riceveva su Mattermost un messaggio con il proprio punteggio e le motivazioni, e un oggetto visivo personalizzato di Power BI scritto in TypeScript aggiungeva alla tabella dei punteggi tooltip con commenti per singola cella, cosa che la tabella standard non permette.
Risultato
Al 20 aprile 2026 il database conteneva 32.013 chiamate, 2.199 delle quali valutate dall’AI con un punteggio medio di 78,4 su 100, e al 28 aprile le chiamate valutate erano 3.507. Il costo previsto per 300 chiamate al giorno era di circa 150 GEL al mese con Flash, contro circa 820 GEL con Pro. La nuova gestione degli errori ha recuperato 124 chiamate bloccate.