AI Stage: Slimme Ticketclassificatie en Tickettriage voor Customer Support

Over 4CEE en de opdracht

4CEE werkt aan de verdere professionalisering van Customer Support. Daarbij staan een uniforme werkwijze, de overgang naar Jira/Jira Service Management, kennisdeling, betrouwbare rapportages en betere digitale ondersteuning van medewerkers en klanten centraal. Deze stageopdracht biedt een student een zelfstandig ICT-vraagstuk met directe praktijkwaarde. De organisatiecontext, beschikbare databronnen en exacte pilotomgeving worden bij de start nader afgebakend.

Aanleiding

Een groot deel van de supportvragen komt via e-mail binnen en wordt als ticket in Jira/Jira Service Management geregistreerd. Deze tickets moeten worden toegewezen aan het juiste product, van een passende urgentie worden voorzien en voldoende informatie bevatten om de behandeling te kunnen starten. 4CEE wil onderzoeken in hoeverre AI en Natural Language Processing (NLP) deze eerste triage betrouwbaar kunnen ondersteunen. Een goede triage draagt bij aan snellere opvolging, consistente prioritering, juiste routering en betrouwbare rapportages.

Probleemstelling

De huidige handmatige classificatie kost tijd en kan inconsistent zijn. Uit e-mails is niet altijd duidelijk op welk product de vraag betrekking heeft, hoe urgent het probleem is en of alle benodigde informatie aanwezig is. Hierdoor kan vertraging ontstaan door verkeerde routering of aanvullende vragen. Er is behoefte aan een uitlegbare, meetbare en beheerbare oplossing die product en urgentie voorspelt, de volledigheid controleert, ontbrekende informatie benoemt en bij onvoldoende zekerheid terugvalt op menselijke triage.

Centrale onderzoeksvraag

Hoe kan 4CEE binnen Jira/Jira Service Management met behulp van AI en NLP binnenkomende supporttickets uit e-mail betrouwbaar classificeren op product en urgentie, controleren op volledigheid en bij ontbrekende informatie gericht aanvullende informatie bij de klant opvragen?

Doelstelling

De student onderzoekt, ontwikkelt en integreert een proof-of-concept voor een afgebakende set producten en urgentieniveaus. De oplossing geeft per ticket een voorstel voor product en urgentie met een betrouwbaarheidsscore, controleert vooraf vastgestelde verplichte informatie en genereert bij ontbrekende gegevens een conceptvraag aan de klant. De supportmedewerker houdt altijd de eindcontrole, kan de uitkomst aanpassen en deze correctie wordt vastgelegd voor evaluatie en eventuele verbetering van het model.

Mogelijke deelvragen

• Welke producten, urgentieniveaus, classificatievelden en informatievereisten zijn bruikbaar, onderscheidend en voldoende vertegenwoordigd in de beschikbare data?

• Hoe kan per product en type melding worden vastgesteld welke informatie minimaal nodig is, en hoe kan ontbrekende informatie automatisch en gericht worden uitgevraagd?

• Op basis van welke inhoudelijke criteria kan urgentie worden bepaald, en hoe wordt voorkomen dat een door de klant genoemde urgentie zonder controle wordt overgenomen?

• Hoe betrouwbaar zijn historische labels en hoe wordt een ground-truth testset samengesteld?

• Welke baseline en welke NLP-/AI-methoden moeten worden vergeleken?

• Hoe worden class imbalance, meertaligheid, nieuwe categorieën en concept drift behandeld?

• Welke confidence thresholds bepalen advies, menselijke review of fallback?

• Met welke meetwaarden worden productclassificatie, urgentiebepaling en volledigheidscontrole beoordeeld, bijvoorbeeld precision, recall, F1-score, foutpositieven en tijdsbesparing?

• Hoe worden privacy, uitlegbaarheid, logging, security en beheer ingericht?

Werkzaamheden en aanpak 

1. Analyseer het huidige e-mail- en triageproces, de gewenste producttaxonomie, urgentiedefinities, benodigde informatie per type melding en relevante Jira-velden.

2. Maak een data-inventarisatie, labelaudit en representatieve train/validatie/testset.

3. Ontwikkel een eenvoudige rule-based of statistische baseline.

4. Vergelijk minimaal twee model-/technologieopties op vooraf gekozen criteria.

5. Ontwerp de classificatieservice en Jira-integratie, inclusief product- en urgentieclassificatie, volledigheidsregels, betrouwbaarheidsscores, conceptvragen en fallbacklogica.

6. Realiseer een proof-of-concept in een testomgeving of simulatie.

7. Test de oplossing technisch en functioneel, per product en urgentieklasse en samen met supportmedewerkers. Analyseer zowel classificatiefouten als gemiste of onterecht gemarkeerde ontbrekende informatie.

8. Lever monitoring-, retraining-, beheer- en implementatieadvies op.

Beoogde resultaten en op te leveren producten

• Een analyse van het huidige triageproces, de beschikbare data en de kwaliteit van historische classificaties.

• Een onderbouwde taxonomie voor producten en urgentieniveaus, inclusief definities en besliscriteria.

• Een volledigheidsmatrix waarin per product of type melding staat welke informatie minimaal nodig is.

• Een werkend proof-of-concept dat e-mails omzet naar een classificatievoorstel, een urgentievoorstel en een volledigheidscontrole.

• Een evaluatierapport met meetresultaten, foutanalyse, risico’s, privacy- en beveiligingsaspecten en een advies voor implementatie en beheer.

• Technische en functionele documentatie, inclusief installatie, configuratie, testaanpak en overdracht aan 4CEE.

Afbakening en randvoorwaarden

• De pilot wordt beperkt tot een representatieve maar beheersbare selectie van producten, tickettypen en urgentieniveaus.

• Persoonsgegevens en vertrouwelijke klantinformatie worden geminimaliseerd, afgeschermd of geanonimiseerd en conform de geldende afspraken verwerkt.

• De oplossing ondersteunt de medewerker en neemt in de pilot geen onomkeerbare besluiten zonder menselijke controle.

• De student legt aannames, modelkeuzes, prompts, regels, configuratie en beperkingen reproduceerbaar vast.

• Vooraf worden acceptatiecriteria afgesproken voor betrouwbaarheid, foutmarges, responstijd, bruikbaarheid en beheerbaarheid.