Les Oui mais Non de l’analyse sémantique

L’écoute client est une pièce centrale de la relation entre une marque et ses clients. Pour l’ensemble des donneurs d’ordre, les messages clients (les fameux « verbatim ») sont une ressource essentielle pour la compréhension de leurs attentes. Progressivement, les grandes entreprises se lancent à la recherche d’une solution d’analyse automatique, avec une vision des bénéfices potentiels quelques fois assez réaliste, mais parfois beaucoup trop optimiste. Nous vous proposons de retrouver dans ce Bulletin de la Relation Client l’ensemble des points abordés dans notre série « Oui, mais Non », initialement publiée sur notre blog. Vous y découvrirez ce qu’une marque peut et doit attendre de l’analyse sémantique automatique de ses messages clients, par opposition à ce qui relève de l’utopie et du culot marketing.

1. OUI : pour des thématiques détaillées

Il est important de savoir que les clients critiquent la livraison, mais c’est insuffisant pour mettre en place des actions correctives efficaces. Est-ce le délai de livraison qui n’est pas respecté ? Ou alors ce délai est-il jugé trop long ? Les plages horaires communiquées pour la livraison sont-elles trop larges ? Ces trois exemples de problématiques, même si elles sont toutes liées à la livraison, n’impliqueront cependant pas les mêmes actions correctives. Il est donc indispensable de pouvoir cibler la bonne sous-thématique « respect des délais », « délais de livraisons » ou encore « plages horaires » pour trouver des leviers pertinents à actionner.

… mais NON : pour un niveau de compréhension identique à l’analyse humaine

Le langage est vivant, évolutif, ambigu et les combinaisons possibles entre les mots sont quasi infinies. Il restera donc toujours, quelles que soient les optimisations apportées, une partie des informations contenues dans les verbatim clients qui sera non (ou mal) détectée.
Cela dit, il faut garder à l’esprit que la catégorisation humaine est loin d’être aussi fiable que ce que l’on imagine a priori.

Quiconque a déjà comparé les annotations de deux collaborateurs sur un même corpus de verbatim a pu le constater : la sensibilité personnelle, la capacité à conserver sa concentration sur une longue période, le temps alloué à cette tâche, sont autant de paramètres qui influencent les résultats d’une catégorisation manuelle. Ainsi, si les résultats d’un individu à l’autre ne seront jamais identiques, il est inévitable que les résultats d’un même analyste différeront également d’un jour à l’autre.

Sans compter que l’analyse manuelle d’un volume de données important entraîne à coup sûr des oublis et des erreurs. Lorsque l’on évalue les résultats d’une analyse sémantique automatique, on ne devrait donc pas les comparer à une analyse parfaite, mais à une analyse humaine forcément imparfaite.

2. OUI : pour des sujets regroupés de façon pertinente

Dans le plan de classement proposé, il conviendra d’éviter les thématiques inutiles parce que redondantes : « prix », « tarifs », « rapport qualité-prix » ou « coût » sont des termes différents mais ils engagent les mêmes problématiques pour les clients ou les entreprises. Créer autant de thématiques qu’il existe de mots pour les exprimer empêche d’évaluer le poids global et réel de chaque étape du parcours client. C’est par ailleurs prendre le risque de surcharger les indicateurs et d’empêcher ces derniers de tenir leur rôle d’informateurs.

… mais NON : pour se passer de l’expertise humaine dans la définition des thématiques

Un plan de classement pertinent est à la base d’un bon processus d’écoute client via l’analyse des verbatim. Son adaptabilité aux besoins de l’entreprise impactera fortement l’utilisation de la solution et les bénéfices qui pourront en être tirés.

Confier ce paramétrage initial à des algorithmes, c’est s’exposer à des déceptions et à la remise en question de la pérennité du projet.

A l’inverse, lorsque le linguiste définit ce plan de classement en se basant sur un corpus réel de verbatim clients, il s’assure que les thématiques ne sont pas redondantes, qu’elles sont précises, que l’ensemble des sujets abordés par les clients sont recensés, et que les besoins des interlocuteurs métiers en matière d’exploitation des feedbacks clients sont entièrement couverts.

3. OUI : pour aller plus loin qu’un simple tri par mots et synonymes

Il est primordial de fournir à la marque une catégorisation par sujet, par thématique, et non des regroupements de mots ayant plus ou moins la même signification : les mots ne sont pas des thématiques !

Attention par exemple à ne pas associer systématiquement à la thématique « conditionnement » chaque occurrence de « colis », « paquet » ou « carton ». Ce serait prendre le risque de détecter une « problématique » de conditionnement là où en réalité seul le délai de livraison est concerné dans un verbatim tel que : « mon colis ne m’a toujours pas été livré »

… mais NON : pour révéler l’implicite

Identifier, grâce à une analyse automatique, les thématiques précises sur lesquelles les clients s’expriment est une tâche complexe mais réalisable.
En revanche, un système automatisé ne pourra pas détecter autre chose que ce qui est écrit ou dit. L’implicite, les sous-entendus et l’ironie restent inaccessibles à la machine. Ces subtilités échappent régulièrement à nos semblables, alors aux ordinateurs… 😉

4. OUI : pour une exploitation stratégique ET opérationnelle

La dimension stratégique permet de dégager les tendances de fond et de définir des plans d’actions.
Le volet opérationnel correspond quant à lui à la détection des alertes (risque d’attrition, risque juridique, relance du client…). La fiabilité de l’analyse est primordiale ici afin d’être en capacité de remonter uniquement les alertes réelles, et ne pas « polluer » les destinataires avec des faux positifs.

… mais NON : pour une exploitation de la ponctuation et des émoticônes

De nombreuses années d’expérience et des millions de messages analysés nous permettent de l’affirmer : il est inutile d’espérer interpréter la ponctuation ou les émoticônes.

En effet, les points d’exclamation et d’interrogation ne sont pas toujours utilisés en adéquation avec ce que le client veut exprimer. De même, juger de l’implication émotionnelle du client selon qu’il a inséré ou non un smiley dans son message est pour le moins hasardeux.

En littérature, la syntaxe est porteuse de sens, c’est un élément de langage à part entière. Dans le verbatim d’un client, ce qui compte est ce qu’il écrit, pas la façon dont il l’écrit.

5. OUI : pour des insights pertinents

Les attentes liées à un outil d’analyse de verbatim clients vont au-delà de la simple visualisation du poids de chaque thématique et de leur évolution dans le temps. Aujourd’hui, les utilisateurs souhaitent et peuvent obtenir instantanément des insights pertinents, tels que :
• quelles sont les raisons pour lesquelles les clients résilient / partent vers la concurrence ?
• quels sont les moments stratégiques dans la relation de l’entreprise avec ses clients, ceux qui ont le plus d’impact sur leur satisfaction et leur recommandation ? (L.I.S.)

… mais NON : pour s’exonérer d’une expertise humaine pour l’interprétation des résultats

L’analyse automatique des verbatim, aussi perfectionnée soit elle, ne pourra jamais remplacer l’humain et sa capacité de réflexion, de corrélation avec sa connaissance de l’entreprise et des spécificités de son marché (ex. saisonnalité). Ainsi, il faut attendre d’une telle solution qu’elle soit capable de pointer les faits remarquables, mais l’interprétation de ces faits, et les conclusions à en tirer (plans d’action), nécessiteront toujours une expertise humaine.

De même, lorsqu’un élément notable est identifié, il est essentiel qu’un expert métier lise une partie des verbatim clients correspondants, afin de s’assurer qu’il interprète correctement cet insight.

6. OUI : pour détecter la tonalité

Il est évident que parallèlement à l’identification des thématiques sur lesquelles les clients s’expriment, la détection de la tonalité positive ou négative est un indispensable de toute solution d’analyse sémantique automatique de verbatim clients.

De plus, il conviendra d’associer ces tonalités à chacune des thématiques, et non au verbatim dans son ensemble, car :
• Un client peut s’exprimer sur des aspects positifs et négatifs dans un même verbatim.
• Comment qualifier la tonalité générale d’un verbatim dans lequel il y a une thématique positive et une thématique négative ? Un verbatim contenant deux thématiques positives et une seule thématique négative est-il plus positif que négatif ?
• Comment déterminer les motifs de satisfaction et d’insatisfaction principaux si la tonalité n’est pas liée à chacune des thématiques mais au verbatim en général ?

… mais NON : pour nuancer la tonalité ou lui affecter différents degrés

On pourrait être tenté d’attribuer des niveaux d’intensité différents en fonction des expressions utilisées par les clients dans leurs verbatim (agacé, énervé, furieux…).

Pour avoir étudié et testé cette possibilité, nous pouvons affirmer que c’est une fausse bonne idée, et ce pour plusieurs raisons :
• Il existe des milliers de mots et d’expressions permettant de graduer les sentiments. Il est donc impossible de les classer dans quelques niveaux d’intensité prédéfinis.
• En fonction de la personne qui lit le verbatim, une même expression sera perçue comme ayant des niveaux d’intensité différents.
• En fonction de la personne qui écrit le verbatim, une même expression sera utilisée pour des niveaux de satisfaction ressentie totalement différents.

Ainsi, graduer l’intensité de la satisfaction ou du mécontentement à partir du seul verbatim est totalement subjectif. Notre conviction est que les verbatim permettent de détecter les motifs de satisfaction et d’insatisfaction, mais qu’il faut avoir recours à des données complémentaires objectives pour évaluer le niveau de satisfaction/recommandation/fidélité lié aux sujets évoqués par le client.

Ces moyens de mesurer objectivement le niveau de satisfaction existent. Ce sont les notes (de recommandation, de satisfaction…) attribuées par les clients lors des enquêtes.
• Si le client indique « je n’ai pas attendu longtemps en caisse mais il est anormal de payer 4 centimes pour un sac » et attribue une note de 9, on pourra en déduire que le sujet du sac payant est certes une contrariété mais qu’il ne constitue pas un irritant important pour lui.
• En revanche, si pour le même verbatim, la note attribuée est de 2, on en déduira que le sujet du sac payant a un impact conséquent sur le niveau de satisfaction de ce client.

C’est ce principe objectif et à forte valeur ajoutée que nous avons appliqué pour développer notre Loyalty Impact Score !

7. OUI : pour suivre l’évolution dans le temps des retours clients

Un des avantages majeurs de l’analyse des verbatim en continu est de permettre un suivi sur plusieurs semaines (mois ou années) des problématiques exprimées par les clients.
Ainsi, on pourra :
• d’une part, identifier des « pics » ou des « creux » et/ou une tendance à la hausse ou à la baisse sur un motif de satisfaction/insatisfaction particulier,
• d’autre part, après la mise en place d’un plan d’action, vérifier son effet sur la perception des clients.

Un exemple pour illustrer ce deuxième point :
Une enseigne d’habillement a changé la façon dont elle présente sa nouvelle collection sur quelques « magasins tests ». Il est alors possible de faire un focus sur ces points de vente et sur la thématique de l’organisation en magasin, pour évaluer le « ROI qualitatif ». En corrélant ces données avec l’évolution du chiffre d’affaires, on calcule aisément le « ROI quantitatif » du plan d’action.

… mais NON : pour constater des évolutions rapides et importantes

Une remarque fréquente après la mise en place d’une solution d’analyse automatique, est que la teneur des propos des clients est « trop constante ». En effet, on peut avoir le sentiment que la représentativité des sujets abordés par les clients évolue très peu.
Nous ferons deux remarques à ce sujet :
• Oui, les clients sont en effet constants dans leur ressenti, et heureusement ! S’ils avaient des attentes différentes chaque semaine, il serait impossible de mener une quelconque action corrective. Ce ressenti peut cependant évoluer suite à la mise en place de plans d’actions.
• Même avec des plans d’action efficaces, l’impact sur le ressenti client devra être mesuré « sur la longueur » et l’amplitude des évolutions sera la plupart du temps assez modeste.
Par ailleurs, nous encourageons nos clients à garder à l’esprit que chaque hausse de la fréquence d’un motif de satisfaction, comme chaque baisse de la fréquence d’un motif d’insatisfaction, aussi légère soit-elle, correspond à des centaines voire des milliers de clients dont le niveau de satisfaction a augmenté.

8. OUI : pour détecter l’ensemble des thématiques exprimées par le client

Contrairement à l’humain qui se focalisera la plupart du temps sur la thématique principale exprimée par le client (en général la critique principale), une analyse sémantique automatique de qualité va permettre d’extraire l’ensemble des informations pertinentes, positives et négatives, que ce soit d’un point de vue stratégique ou opérationnel.

… mais NON : pour identifier des sujets qu’une lecture humaine ne perçoit pas

Nous avons pu constater que certains ont l’espoir de découvrir, grâce à l’analyse sémantique automatique, des thématiques qu’ils n’auraient pas su identifier en lisant eux-mêmes les verbatim de leurs clients. Nous ne parlons pas ici du fait que l’analyse automatique est plus exhaustive que l’analyse humaine, car comme nous l’avons évoqué dans la partie « Oui » ci-dessus, l’avantage est sur ce point, clairement en faveur de la machine.
Non, ce dont il est question ici, c’est de l’idée qu’un analyste qui aurait déjà lu des milliers de verbatim pourrait découvrir de nouveaux sujets grâce à l’analyse sémantique automatique.

Identifier les différents sujets sur lesquels les clients s’expriment est une tâche tout à fait réalisable par un humain. Chez ERDIL, nous pensons d’ailleurs qu’elle doit être réalisée par un expert et non par un algorithme, afin de garantir la mise en place d’un plan de classement totalement adapté et pertinent (cf #2).

En revanche, ce qui est impossible via une analyse humaine, mais tout à fait réalisable par l’analyse sémantique automatique, c’est de quantifier l’importance de ces sujets, d’en tirer des insights précis en les croisant avec les données structurées, de suivre leur évolution dans le temps, de mesurer leur impact sur la fidélité des clients… et ce sur des millions de verbatim, en temps réel et avec une impartialité totale.

Date

09 mai 2017

Auteur
Logo ERDIL

ERDIL

Découvrez nos autres articles