For å måle treffsikkerheten til AI i kundeservice må dere først definere hva «riktig» betyr for arbeidsflyten. Et svar kan høres godt ut og likevel bruke feil retningslinjer. En beslutning kan være riktig selv om den lovede handlingen mislykkes. Én samlet poengsum skjuler disse forskjellene.
Evaluer kundens behov, kildefakta, retningslinjer, handling, eskalering og kommunikasjon separat.
Bruk et flerdimensjonalt målekort
| Dimensjon | Evalueringsspørsmål |
|---|---|
| Kundens mål | Forsto systemet hva kunden faktisk ba om? |
| Faktagrunnlag | Støttes faktiske påstander av aktuelle kilder og data? |
| Retningslinjer | Valgte og brukte systemet riktig regel? |
| Beslutning | Er det foreslåtte resultatet passende? |
| Handling | Ble riktig operasjon forespurt og bekreftet? |
| Eskalering | Ble usikkert eller risikofylt arbeid sendt til riktig person? |
| Fullstendighet | Inkluderer svaret det nødvendige neste trinnet? |
| Kommunikasjon | Er språket klart, konsist, naturlig og passende for henvendelsen? |
Definer kritiske feil som forårsaker økonomisk skade, personvernbrudd, sikkerhetsproblemer eller alvorlig tillitsskade. Rapporter dem separat i stedet for å slå dem sammen med stilproblemer i et gjennomsnitt.
Bygg et representativt evalueringssett
Inkluder vanlige henvendelsestyper i realistiske proporsjoner, pluss målrettede vanskelige saker: tvetydige meldinger, manglende data, motstridende retningslinjer, flere bestillinger, ikke-støttede forespørsler, forskjellige språk og høyrisikohandlinger. Bruk gjeldende retningslinjer og forventet systemtilstand.
Hold et stabilt regresjonssett og et nyere sett som gjenspeiler produksjonsendringer. Forhindre at den samme samtalen lekker på tvers av utviklings- og testgrupper.
Gjennomgå med kvalifiserte personer
Lag tydelige vurderingskriterier, og la fagpersonene kalibrere vurderingene sine på de samme eksemplene. Sakseksperter bør vurdere om retningslinjene er brukt riktig og om tiltakene er korrekte. Mål hvor enige fagpersonene er; uenighet avdekker ofte en uklar regel, ikke bare en modellfeil.
Treningsdata for AI i kundeservice forklarer hvordan du kan bevare versjonene av retningslinjene og bruke pålitelige etiketter.
Vurder fordelingen, ikke bare svarene
Et system kan være korrekt ved å nekte å gjette og eskalere. Mål unødvendig eskalering samt usikker automatisering. Gjennomgå om overleveringen inkluderer konteksten et menneske trenger.
Kalibrer sikkerhetsnivået for AI mot observert treffsikkerhet for hver henvendelsestype og hvert risikonivå.
Kjør trinnvis produksjonsmåling
- Test mot manuelt merkede saker før løsningen tas i bruk.
- Kjør i skyggemodus på løpende henvendelser.
- Sammenlign forslagene fra AI-systemet med beslutningene kundebehandlerne faktisk tok.
- La kundebehandlere gjennomgå resultatene ved lansering i et begrenset omfang.
- Ta stikkprøver av godkjente, redigerte, avviste og eskalerte saker.
- Overvåk gjentatte henvendelser, handlingsfeil, CSAT, kvalitet og hendelser.
- Utvid kun etter stabile resultater på tvers av tid og segmenter.
Godkjenningsgrad og automatiseringsgrad beskriver bruk, ikke treffsikkerhet. Se dem i sammenheng med resultatene og hvor alvorlige feilene er.
Følg med på endringer over tid
Del resultatene ned etter henvendelsestype, marked, språk, produkt, kanal og arbeidsflytversjon. Reevaluer etter endringer i retningslinjer, data, integrasjoner, modeller eller forespørsler. Sesong- og hendelsestrafikk kan også endre ytelsen.
Riktig terskel for treffsikkerhet avhenger av konsekvensen av feil og hvor grundig den menneskelige kontrollen er. Målingen skal støtte en beslutning om omfang, ikke produsere ett imponerende tall. Når evalueringen gjenspeiler faktisk arbeid, kan teamet forbedre AI-løsningen med dokumenterte resultater i stedet for magefølelse.