Analisi dell’assistenza con LLM

Il management non sapeva per cosa i clienti scrivono e chiamano davvero, quali domande potrebbero essere gestite da un bot o da una FAQ, dove la base di conoscenza avesse lacune, né quanto velocemente rispondessero gli operatori. I dati stavano in Respond.io, che non offre un’esportazione massiva del testo dei messaggi, e nel database di valutazione delle chiamate.

Estrattori Node.js scaricano tramite API ogni messaggio Respond.io per contatto, con paginazione a cursore e aggiornamenti incrementali basati su watermark, in uno schema Postgres dedicato. Passaggi SQL collegano i messaggi alle conversazioni, li suddividono in episodi di contatto e calcolano i livelli di servizio. I contatti sono stati poi esportati in lotti compatti di trascrizioni per i modelli.

Ogni contatto è stato classificato per argomenti, potenziale di self-service, problemi irrisolti, sentiment ed errori del bot, per lo più con Gemini Flash, usando Claude per i set di riferimento. Ogni modello è stato calibrato su un set di riferimento, e le metriche su cui i modelli non concordano sono riportate come intervalli. Una pipeline separata in cinque passaggi (Gemini 3.1 Pro con context caching, poi una sintesi di Claude Opus) ha confrontato le trascrizioni delle chiamate valutate dall’AI con la base di conoscenza dell’agente di assistenza per trovare gli argomenti mancanti. I risultati sono diventati un report in georgiano, una cartella di lavoro Excel, un elenco di follow-up di 1.180 contatti irrisolti con sentiment negativo e una presentazione di raccomandazioni di 19 pagine, in parte prodotti da agenti Claude da me orchestrati.