En konfidensscore for AI i kundeservice kan bidra til å avgjøre om et forslag er klart for vurdering hos en kundebehandler, trenger mer informasjon eller skal sendes direkte til en spesialist. Scoren beviser ikke at et svar eller en handling er riktig. En modell kan være svært sikker og likevel ta feil, særlig når kilden er utdatert eller saken faller utenfor den forventede arbeidsflyten.
Konfidensscoren fungerer best som ett av flere kriterier i en tydelig beslutningsmodell.
Kombiner flere signaler
| Signal | Spørsmål den svarer |
|---|---|
| Sikkerhet i klassifiseringen | Forstår systemet hva kunden ønsker? |
| Kvalitet på kildene | Finnes det en oppdatert, relevant og godkjent kilde? |
| Fullstendige data | Er nødvendige opplysninger om bestilling, forsendelse og betaling tilgjengelige? |
| Sikkerhet i regelvalget | Er riktig gjeldende regel valgt? |
| Risiko ved handlingen | Hva skjer hvis den foreslåtte handlingen er feil? |
| Kundekontekst | Må kundeverdi, historikk eller sårbarhet vurderes manuelt? |
| Systemhelse | Er integrasjonene oppdaterte og svarer de normalt? |
En høy score fra språkmodellen bør ikke overstyre manglende betalingsbekreftelse eller en refusjonsregel med høy verdi.
Fordel sakene etter ønsket resultat
Bruk et lite antall utfall som kundebehandlerne forstår:
- forberede svaret for normal gjennomgang
- stille ett oppklarende spørsmål
- kreve godkjenning fra en erfaren medarbeider før en handling
- sende saken til en spesialist med en forklaring på usikkerheten
- stoppe automatiseringen fordi en datakilde ikke er tilgjengelig
Start med konservative terskler. Utvid bare når evaluering viser akseptabel kvalitet for den henvendelsestypen og risikonivået.
Kalibrer med merkede saker
- Samle representative historiske og syntetiske saker.
- Få kvalifiserte fagpersoner til å merke riktig henvendelsestype, beslutning, handling og eskalering.
- Kjør systemet og sammenlign det oppgitte sikkerhetsnivået med faktisk treffsikkerhet.
- Grupper resultatene i intervaller.
- Sjekk om resultater med et oppgitt sikkerhetsnivå på 80 % faktisk er riktige omtrent 80 % av tiden.
- Sett terskler basert på forretningsrisiko, ikke et visuelt tiltalende tall.
Kalibrer på nytt etter henvendelsestype, marked og handling. En terskel som passer for forklaringer av sporingsstatus, kan være for risikabel for refusjoner.
Mål kvaliteten på fordelingen
Spor tilfeller der systemet var svært sikkert, men tok feil. Spor også unødvendige eskaleringer, der enkle og korrekte saker med lav risiko ble sendt til manuell behandling. Gjennomgå resultatet for kunden, kundebehandlernes overstyringer, feilhandlinger og alvorlighetsgrad, ikke bare gjennomsnittsscoren.
Bruk rammeverket for å måle treffsikkerheten til AI i kundeservice til å kontrollere både svaret og beslutningen om videre behandling.
Vis kundebehandleren hvorfor systemet er usikkert
Å vise «72 % sikker» uten forklaring hjelper sjelden. Vis relevante kilder, manglende data, motstridende opplysninger og årsaken til eskaleringen. Kundebehandleren bør kunne kontrollere forslaget i stedet for å måtte stole på et uforklart tall.
Menneskelig kontroll i AI-basert kundeservice er mest effektivt når gjennomgangen fokuserer oppmerksomheten på den usikre delen av saken.
Overvåk endringer over tid
Endringer i retningslinjene, nye produkter, nye markeder, sesongvariasjoner og transportørhendelser endrer hvilke saker systemet møter. Følg utviklingen i kalibrering, eskaleringer, rettelser og alvorlighetsgraden på feil. Test på nytt etter større endringer i kunnskapsgrunnlaget eller integrasjonene.
En konfidensscore er et hjelpemiddel for å fordele saker, ikke en garanti for at svaret er riktig. Kombiner den med tydelige regler, dokumenterte kilder, grenser for automatiske handlinger og kvalitetskontroll. Da kan AI gjøre rutinearbeidet raskere, samtidig som avvikene forblir synlige for medarbeiderne som har ansvar for vurderingen.