“Hé Google, how much are flights to Barcelona in 2 months” is één van de vragen die je standaard kan stellen aan Google Home, de smart speaker van Google. Een smart speaker is een toestel dat in essentie enkel een luidspreker en microfoon bevat, en een wifi-verbinding om te connecteren met de cloud services van de leverancier in kwestie. Google is niet de eerste om een smart speaker op de markt te brengen, dat was Amazon met de Echo, gebaseerd op Alexa. Met de aankondigingen van Apple (Homepod) en Samsung zullen alle grote spelers een smart speaker aanbieden.

Het echte brein van de speaker is de virtuele assistent. In het geval van Google is dat Assistant, de andere spelers hebben hun eigen virtuele assistent (Amazon Alexa, Apple Siri, Microsoft Cortana en Samsung Bixby). De leveranciers zijn onderling verwikkeld in een strijd voor de beste virtuele assistent, maar ook om hun assistent via zoveel mogelijk toestellen toegankelijk te maken. Dat zijn niet alleen toestellen van eigen makelij, maar meer en meer wordt ook ingezet op SDK’s die toelaten om de assistent te integreren in third party toestellen, zoals huishoudtoestellen.

Waar je op een smartphone nog de keuze hebt om een vraag in te typen of in te spreken, is de Google Home op zich een voice-only toestel: er is geen scherm, geen toetsenbord. Al wat je kan doen is een vraag inspreken. Dat heeft zijn voordelen, vooral als je je handen vrij wil hebben als je bijvoorbeeld aan het koken bent.

In het algemeen laten virtuele assistenten toe dat je een vraag in je eigen bewoordingen formuleert. Het hoeven geen vaste (korte) commando’s te zijn. Op die manier hoef je in principe ook geen handleiding te lezen, je gaat er gewoon mee aan de slag.

Experiment met Dimona

Naast de standaard features die Google zelf aanbiedt (zoals informatie opzoeken of muziek afspelen), kan je eigen “actions” toevoegen aan de assistent. Zo hebben we binnen het research team van Smals een experiment opgezet met een Dimona action. Dimona staat voor “Declaration immédiate – Onmiddellijke aangifte” en slaat op het elektronisch bericht waarmee de werkgever iedere indiensttreding en uitdiensttreding van een werknemer aangeeft bij de RSZ. Doel is om aan te tonen hoe een Dimona-aangifte kan doorgestuurd worden op een totaal andere manier als de bestaande kanalen, namelijk via een tekst- of spraakgebaseerde conversatie. We spreken dan ook van een conversationele interface (zie de inleidende blogpost over conversationele interfaces).

In de figuur hiernaast is een voorbeeld gegeven van het verloop van een conversatie met deze Dimona action. Het aanroepen van de action verloopt als volgt: “Hé Google, let me talk to the Belgian Social Security Office”. Met “Hé Google” of “OK Google” activeer je de spraakassistent van Google; “Belgian Social Security Office” is de naam van de action die we willen aanroepen. Dat is een ietwat lange naam, maar Google legt dan ook heel wat beperkingen op op vlak van naamgeving. Daarna wordt de controle doorgegeven aan de action, die antwoordt met een korte introductie.

Bij dit experiment zijn we uitgegaan van een scenario waarbij slechts 3 parameters nodig zijn voor een Dimona-aangifte: het werkgeversnummer, het werknemersnummer en de datum van indiensttreding. De action is zo opgezet dat de parameters in willekeurige volgorde kunnen opgegeven worden. Indien er één of meerdere parameters ontbreken, dan zal de bot vervolgvragen stellen om die parameters te capteren. Als alle parameters gecapteerd zijn, geeft de bot tenslotte een samenvatting van de aangifte met de vraag om die te bevestigen of aan te passen.

We merken dat de spraakherkenning (Speech To Text, STT) over het algemeen goed werkt. Een specifiek woord zoals “dimona” wordt soms niet goed herkend en “declaration” wordt soms herkend als “decoration”. Maar zelfs dan wordt de intentie van de gebruiker nog goed herkend.

Het ingeven van grotere getallen zoals een werkgeversnummer is minder handig via spraak, maar het kan wel: je kan de cijfers één voor één inspreken waarna de bot alle cijfers groepeert in één tekststring.

Deze Dimona action is niet enkel beschikbaar via de Google Home, maar ook via de Google Assistant op een Android smartphone. Het voordeel is dat je op een smartphone wél beschikt over een toetsenbord en een werkgeversnummer kan intypen in plaats van het in te spreken. Er zijn ook suggestieknoppen om snel (zonder spraak) te reageren, zoals de Yes/No knoppen bij de vraag om bevestiging van de aangifte (zie afbeelding hieronder).

Technische aspecten

De conversatie voor deze Dimona action is ontwikkeld op basis van Api.ai, het platform van Google voor het ontwikkelen van chatbots. Daarbij is ervoor gezorgd dat er vervolgvragen gesteld worden indien één of meerdere parameters van de aangifte ontbreken. Er wordt ook rekening gehouden met de context: zo wordt “yes” of “no” geïnterpreteerd in de context van de vraag om bevestiging van een aangifte. Voor meer informatie over Api.ai verwijzen we naar de Quick Review.

Vervolgens werd de bot gepubliceerd naar de Google Assistant via de Actions on Google console. Om te kunnen publiceren is er een goedkeuring nodig van Google.

Momenteel is er geen koppeling gemaakt met een back-end, enkel de gebruikersinterface werd uitgewerkt. Mits de beschikbaarheid van de nodige API’s zou er effectief een Dimona-aangifte kunnen ingediend worden.

Conclusie

Uit dit experiment leren we dat het relatief eenvoudig is om een eigen toepassing beschikbaar te maken via een virtuele assistent als Google Assistant. Het feit dat de assistent beschikbaar is op meerdere toestellen biedt de gebruiker uiteindelijk een keuze op vlak van de gebruikerservaring: een pure spraak-interface zoals bij de Google Home smart speaker of een combinatie van spraak, tekst-input en suggestieknoppen zoals bij Google Assistant op een smartphone.

Er zijn een hele reeks aandachtspunten en richtlijnen om een goede conversationele interface te bouwen, maar dat valt buiten de scope van deze blogpost.

Niet alle toepassingen zijn evenwel geschikt voor een voice-only kanaal. Maar het voorbeeld van Dimona geeft aan hoe dat zou kunnen werken en biedt mogelijk inspiratie om goede cases te vinden.

Je kan de Dimona action zelf uittesten op een Google Home of smartphone met Google Assistant. Let wel: het gaat om een experiment, je kan dus geen geldige Dimona-aangifte doen via dit kanaal.