აპრ 2026 – აგვ 2026
მხარდაჭერის ანალიტიკა LLM-ებით
13.5 თვის ჩატები და 1 130 ზარის ტრანსკრიპტი, LLM-ებით წაკითხული, რომ გამოჩნდეს, რა სჭირდებათ მომხმარებლებს
- AI
- მონაცემთა ანალიზი
- ხანგრძლივობა
- 4 თვე
- კომპანია
- Boxette Group
- როლი
- მონაცემთა ინჟინერი და ანალიტიკოსი
მიმოხილვა
Boxette-ის მომხმარებლებთან მიმოწერის სრული ისტორია Postgres-ში ჩაიტვირთა და ბოლო თვეებში აქტიური ყველა კონტაქტი LLM-ებით კლასიფიცირდა. შედეგები, AI-ით შეფასებულ ზარების ტრანსკრიპტებთან ერთად, მენეჯმენტისთვის ანგარიშებად და რეკომენდაციების პრეზენტაციად იქცა.
ინსტრუმენტები
- Node.js
- PostgreSQL
- Gemini
- Claude
- Python
რას კითხულობენ მომხმარებლები სინამდვილეში
მენეჯმენტმა არ იცოდა, რაზე წერენ და რეკავენ მომხმარებლები სინამდვილეში, რომელ კითხვებს აიღებდა ბოტი ან FAQ, სად ჰქონდა ცოდნის ბაზას ხარვეზები და რამდენად სწრაფად პასუხობდნენ ოპერატორები. მონაცემები Respond.io-ში იყო, რომელიც შეტყობინებების ტექსტის მასობრივ ექსპორტს არ იძლევა, და ზარების შეფასების ბაზაში.
API-დან Postgres-მდე
Node.js-ის ექსტრაქტორები Respond.io-ს API-დან თითოეული კონტაქტის ყველა შეტყობინებას იღებენ, კურსორული პაგინაციითა და ბოლო წერტილიდან ინკრემენტული განახლებით, და ცალკე Postgres სქემაში წერენ. SQL-ით შეტყობინებები საუბრებს უკავშირდება, კონტაქტის ეპიზოდებად იყოფა და მომსახურების დონე ითვლება. ამის შემდეგ კონტაქტები მოდელებისთვის კომპაქტური ტრანსკრიპტების პაკეტებად გაიტანეს.
დაკალიბრებული მოდელები, დიაპაზონები უთანხმოებისას
თითოეული კონტაქტი კლასიფიცირდა თემის, ბოტით ან FAQ-ით გადაწყვეტის შესაძლებლობის, გადაუჭრელი საკითხების, განწყობისა და ბოტის შეცდომების მიხედვით, ძირითადად Gemini Flash-ით, საორიენტაციო ნაკრებები კი Claude-ით მომზადდა. ყოველი მოდელი საორიენტაციო ნაკრებზე დაკალიბრდა, ხოლო მაჩვენებლები, რომლებზეც მოდელები ერთმანეთს არ ეთანხმება, დიაპაზონით არის წარმოდგენილი. ცალკე ხუთეტაპიანმა პაიპლაინმა (Gemini 3.1 Pro კონტექსტის ქეშირებით, შემდეგ Claude Opus-ის შეჯამება) AI-ით შეფასებული ზარები მხარდაჭერის აგენტის ცოდნის ბაზას შეადარა და გამოტოვებული თემები იპოვა. შედეგები იქცა ქართულ ანგარიშად, Excel-ის სამუშაო წიგნად, 1 180 გადაუჭრელი, უარყოფითი განწყობის კონტაქტის სიად შემდგომი რეაგირებისთვის და 19-გვერდიან რეკომენდაციების პრეზენტაციად, ნაწილობრივ ჩემ მიერ ორკესტრირებული Claude-ის აგენტების დახმარებით.
შედეგი
13.5 თვის მონაცემებიდან ჩაიტვირთა 622 079 შეტყობინება, 148 129 საუბარი და 23 064 კონტაქტი, ბოლო ექვს თვეში აქტიური 10 392-ვე კონტაქტი კი გაანალიზდა, მათგან 8 524 Gemini-ით, $96.02-ად და 0 შეცდომით. თრექინგი და სტატუსი კონტაქტების 40%-ს აინტერესებდა, საბაჟო დეკლარაცია 27%-ს, ტარიფები კი 24%-ს, ხოლო ფრთხილი შეფასებით, კონტაქტების სულ მცირე 56%-ის საკითხს კარგი FAQ ან ბოტი გადაწყვეტდა. 1 130 ზარში თემების 1 910 ხსენებიდან ცოდნის ბაზა სრულად მხოლოდ 28.4%-ს ფარავდა, 33.1%-ს კი საერთოდ არ ფარავდა.