Les assistants vocaux sont de moins en moins précis mais Google Assistant est toujours le plus « intelligent »

Les assistants vocaux répondent correctement à moins de questions qu’il y a quelques années, selon le dernier rapport annuel de Perficient Digital sur l’intelligence des assistants numériques. Cependant, malgré la baisse générale, Google Assistant se classe constamment au-dessus de ses concurrents pour ce qui est du pourcentage de réponses complètes et correctes aux questions.

Les assistants vocaux ont du mal

Le rapport a comparé les assistants vocaux Amazon Alexa, Apple Siri, Google Assistant et Microsoft Cortana sur différents appareils. Les résultats ont mis en avant que Google Assistant est le plus performant sur un smartphone, avec 89% de réponses complètes et correctes. On constate des pourcentages légèrement inférieurs sur les appareils Google Home et Home Hub.

C’est toujours mieux qu’Alexa, qui est passé de 90% en 2017 à 79% cette année ou Siri, qui est passé d’environ 85% à 70%. Mais c’est Cortana qui a connu la chute la plus significative. Près de 90 % de ses réponses étaient complètes et exactes en 2017, mais elle n’a pu offrir des réponses exactes que 53 % du temps cette année.

Perficient Digital a testé 4 999 questions sur des sujets comme l’histoire, la géographie et les mathématiques pour déterminer ce que les assistants vocaux essaieraient de répondre et à quel point ils étaient précis. Les résultats ont ensuite été mesurés par rapport aux années précédentes, qui utilisaient les mêmes questions, sauf dans le cas de Cortana. Microsoft a ajusté Cortana en utilisant les questions précédentes comme un ensemble de tests, selon Eric Enge, directeur général du marketing numérique chez Perficient Digital.

« Ils n’ont rien fait de mal, ils l’ont simplement utilisé comme ensemble de test », explique Enge au site Voicebot. « Dans le cas de Cortana, nous avons donc lancé un nouvel ensemble de requêtes que nous avons généré. Pour valider qu’il n’y avait rien d’inhabituel dans cet ensemble de requêtes, nous avons re-sollicité Google là-dessus aussi, juste pour nous assurer que le comportement était bien celui auquel nous pouvions nous attendre, mais nous avons quand même utilisé l’ensemble de requêtes original dans nos résultats Google. »

Des assistants qui tentent de répondre en vain

L’envers de la baisse de précision de la réponse est le pourcentage croissant de questions auxquelles les assistants vocaux ont tenté de répondre. Plutôt que de s’excuser et de dire qu’ils ne connaissent pas ou ne comprennent pas la question, la plupart des assistants vocaux étaient beaucoup plus disposés à s’y attaquer, même si le résultat était incomplet ou faux. Le seul à avoir constaté une baisse du pourcentage de questions posées était Google Assistant sur un smartphone, support où les réponses sont les plus précises.

La baisse du pourcentage de précision n’a pas de cause unique évidente. Dans son rapport, Perficient Digital a laissé entendre que la technologie telle qu’elle est aujourd’hui a atteint son apogée. Un changement générationnel dans les algorithmes serait nécessaire pour commencer à augmenter la précision des réponses apportées et la compréhension des questions. Les développeurs d’assistants vocaux travaillent certainement sur ce type de changement, ainsi que sur l’amélioration des bases de données dans lesquelles ils puisent leurs réponses.

Nous vous parlions d’ailleurs dans un autre article des dialogues d’enfants qui étaient utilisés par les entreprises d’IA pour améliorer la compréhension des assistants vocaux.

Alexa s’est tournée vers sa base d’utilisateurs pour enrichir ses informations, encourageant les réponses provenant des utilisateurs aux questions avec son programme Alexa Answers, ce qui pourrait aider Alexa à rattraper son retard sur Google en terme de précision vocale.