Ocena jakości rozmów przez AI

Przełożeni mogli odsłuchać tylko niewielką część rozmów, więc operatorzy dostawali mało spójnej informacji zwrotnej, a dawna ocena według 4 kryteriów była zbyt ogólna, by na jej podstawie szkolić. Celem było ocenianie każdej rozmowy w ten sam sposób i podawanie każdemu operatorowi uzasadnienia oceny.

Zaprojektowana przeze mnie rubryka ma 8 kryteriów i 100 punktów (obsługa, jasność, empatia, aktywne słuchanie, dokładność, rozwiązywanie problemów, efektywność, radzenie sobie ze stresem), zasady odejmowania punktów i prompt audytora QA po gruzińsku. Następnie porównano Gemini 2.5 Pro i Flash na tych samych rozmowach i wyceniono oba modele. Flash oceniał realistyczniej (81 wobec 93 przy tej samej rozmowie) przy ok. jednej szóstej kosztu.

Przepływ n8n pobierał z tabeli połączeń systemu telefonii po jednej nieocenionej rozmowie i ściągał nagranie; Gemini zwracał transkrypcję, kategorię rozmowy i oceny, które przepływ parsował, wyceniał i zapisywał. Nieczytelne odpowiedzi trafiały do dziennika wraz z kosztem, a rozmowa wracała do kolejki; gdy węzeł Gemini z LangChain zaczął zawodzić przy audio, ten krok przebudowano jako bezpośrednie żądanie HTTP z dźwiękiem przesyłanym w treści. Każdy operator dostawał w Mattermost wiadomość ze swoją oceną i uzasadnieniem, a niestandardowa wizualizacja Power BI w TypeScript dodała do tabeli ocen podpowiedzi z komentarzami dla poszczególnych komórek, czego standardowa tabela nie potrafi.