Iets waar elke gezonde organisatie en elk verantwoordelijk management van wakker ligt is uiteraard ROI. In onze context: de ROI van predictive analytics die we sinds dit jaar concreet inzetten.
Nu is de berekening van ROI (die vaak een of meerdere benaderingen, hypotheses, of schattingen inhoudt) in het algemeen een moeilijke zaak. O ironie! Voor de berekening van de ROI die we met predictive analytics bereiken, dienen we gebruik te maken van – jawel – predictive analytics …

Een woordje uitleg.

Stel dat u in het zweet uws aanschijns, op basis van procesparameters, statussen, business object-karakteristieken en -categorieën, ja zelfs historiek, een predictief model hebt kunnen opstellen dat op statistisch verantwoorde wijze en met een bepaalde nauwkeurigheid het optreden van een “event” voorspelt (1).
Uiteraard hebt u ervoor gezorgd dat uw nieuwe business-processen toelaten om snel en gericht actie te ondernemen op basis van deze voorspelling. Uw agenten en/of processen anticiperen op het “event” en genereren zo een meerwaarde in het geval van een gewenst event of vermijden kosten in het geval van een ongewenst event.
Wenst u nu te weten wat de ROI van deze nieuwe business-processen en acties is, dan zal u het resultaat moeten monitoren en dit vergelijken met wat het resultaat zou geweest zijn indien men geen actie zou ondernomen hebben. Hoe kan men dit bereiken?
De berekening van de ROI kan dan geschieden door het predictief model toe te passen op historische gegevens

• waarvan het resultaat (vóór de invoering van vernieuwde business-processen en geïnformeerde acties) bekend is, en
• die vergelijkbaar zijn met de gevallen waarvoor gerichte acties worden ondernomen.

Dit klinkt logisch, maar hoe bepaalt u wat vergelijkbaar is? Op welke basis dient de vergelijking op te gaan? Opnieuw biedt het predictief model een antwoord: kijk immers naar de variabelen die door het predictief model als meest significant worden beschouwd. Dan kan u voor de berekeningen aan de slag met de bekende resultaten, waarvan bv. het gemiddelde genomen kan worden van een groep vergelijkbare gevallen uit de historiek. Eventueel kan men bij dit laatste ook gebruik maken van descriptive analytics (zoals clustering).

(1) Het “optreden van een event” dient hier heel ruim geïnterpreteerd te worden. Het kan immers echt om het even wat zijn – als het maar strategisch interessant is, gelinkt aan een doelstelling van de organisatie, aan een gewenst of ongewenst resultaat. Wanneer gaat een klant weg, faalt een machine-onderdeel, of overschrijdt de waarde van een resultaatvariabele een welbepaalde drempel? Voorbeelden zijn legio.

Let wel, bij dit alles geldt: TIMTOWDI – “there is more than one way to do it” (denk bv. aan keuze van algoritmen, parameters, performance measures). Maar welke benadering ook gekozen wordt, er dient duidelijk over gecommuniceerd te worden, en men heeft er alle belang bij de keuzes die werden gemaakt, te motiveren en te documenteren.

Lessons learned:

• spreek op voorhand goed af met de business;
• spreek op voorhand goed af met de business hoe de resultaten van predictive analytics aanleiding kunnen geven tot concrete acties in concrete business processen;
• spreek op voorhand goed af met de business hoe de resultaten van zulke acties aanleiding kunnen geven tot een meetbare waarde, en hoe dit gemonitord kan worden;
• spreek op voorhand goed af met de business hoe de ROI dan op basis van het voorgaande kan en mag berekend worden;
• monitor de evolutie van de ROI en wees klaar om modellen bij te sturen;
• blijf daarom continu de business betrekken in dit proces.