Détecter les faux avis sur les sites de e-commerce

Détecter les faux avis sur les sites de e-commerce

Voici le premier article de ma première newsletter. Comme je tarde à sortir la deuxième, je mets en ligne par morceaux la première pour me motiver ;). Cet article parle de la détection des faux avis dans les sites de commerce en ligne.

Ce n'est pas un secret que lorsqu'un produit est bien noté sur le web, alors il est bien vendu... Et c'est vrai pour les produits high-tech ou dématérialisés, mais aussi pour les produits plus standards (chambres d'hotels, restaurants, tondeuses, etc.).  De nombreux chercheurs s'intéressent au repérage de ce que l'on appelle les ``faux avis''. Mais ce répérage est un problème particulièrement difficile. Repérer un faux avis solitaire, c'est la plupart du temps impossible, car ces avis sont la plupart du temps rédigés par de vrais humains, avec de vrais doigts pour taper du vrai texte. Et c'est pour cela que l'on entendait pas trop la foule en délire à propos des résultats obtenus par des chercheurs sur ce sujet.

Pourtant, vous en avez peut-être entendu parler cet été, un article scientifique a fait largement progresser le sujet. Il s'agit de Spotting Fake Reviewer Groups in Consumer Reviews par Arjun Mukherjee, Bing Liu et Natalie Glance. Les deux premiers auteurs sont à l'Université de l'Illinois à Chicago, et N. Glance travaille pour Google. L'article à été présentée à la conférence WWW 2012, principale conférence du domaine au niveau mondial, qui en plus avait lieu en août dernier à Lyon (et oui, en France).

Je vais vous parler de ce papier, qui a obtenu des résultats très intéressants en prenant le problème d'un point de vue plus global. En effet, si il n'est pas possible de décider si un avis solitaire est un faux ou un vrai avis, il est peut-être possible de décider si un groupe d'avis est suspicieux. Et c'est exactement ce qui est fait par Mukherjee et ses coauteurs : ils repérent des motifs comportementaux dans des équipes de rédacteurs de faux avis qui travaillent ensemble pour améliorer la notation sur quelques produits cibles.

Ce qui est amusant lorsqu'on lit l'article pour la première fois, c'est qu'on comprend à quel point le travail a dû être compliqué. Répérer un faux avis solitaire, c'est difficile car chaque avis est bien écrit, et il existe des avis très positifs (ou négatifs) légitimes. Or, pour répérer les groupes qui postent ensemble des avis positifs ayant des éléments en commun, il faut pouvoir d'abord se constituer un dataset de faux avis, ce qui est difficile, et donc le serpent se mord la queue : il faut des faux avis pour apprendre à trouver les faux avis. La solution est évidente, il va falloir construire le dataset à la main, et ça va couter cher... En partant d'un dataset fourni par Amazon, contenant plus de 100000 avis, les auteurs ont constitué une équipe de 8 experts qui ont passé deux mois pour garantir le statut de 2431 groupes de personnes (spam, non-spam ou borderline) sur 7052 groupes existant dans le dataset.  Un groupe, pour faire simple on dira que c'est un ensemble de personnes qui a commenté plusieurs fois les mêmes produits.  Et c'est avec cette base que le reste des recherches ont été menées.

Une fois ce travail effectué, les auteurs ont pu trouver les éléments caractéristiques d'un groupe de spammeurs d'avis. je vous en fait ici une liste avec une courte explication. je ne mets pas les explications mathématiques, pour lesquelles je vous conseille de lire l'article (attention, c'est pour un oeil averti).

Fréquence de publication

Si les membres d'un même groupe publient tous un avis sur un même produit dans un court intervalle de temps, alors il est probable que les avis soient bidons.

Dérive de notation

Si la note moyenne mis à un produit par les membres d'un groupe est très différente de la note moyenne, pour le même produit, des autres avis, alors là aussi c'est louche.

Similarité de contenu

Les rédacteurs de faux avis ont des consignes sur le contenu à mettre dans les avis, et ils utilisent souvent des formulations proches. En conséquence, les avis issus d'un même groupe de spammeurs auront un contenu similaire.

Auto-similarité

Un rédacteur de faux avis à des consignes, qui sont souvent les mêmes pour tous les produits à pousser. Un rédacteur aura donc tendance à produire des avis similaires sur des produits différents. Mais ceci est aussi vrai pour certains gros posteurs légitimes sur les sites de e-commerce. En revanche, si tous les membres d'un groupe ont une auto-similarité forte, alors il faut renvoyer une alerte.

Rapidité de publication

Les gens sont influençables. Si le premier avis sur un produit est très positif, les gens qui posteront derrière cet avis auront tendance à adoucir leurs propos. Les groupes de tricheurs publient donc le plus vite possible pour que leurs avis soient parmi les premiers publiés.

Taille du groupe

La probabilité d'existence d'un grand groupe est faible, les grands groupes sont donc souvent artificiels.

Taille relative du groupe

Il s'agit plus d'une mesure de l'impact des spammeurs. Si les spammeurs constituent 100% des avis sur un produit, ils sont plus dangereux que si ils constituent 10%.

Taille du support

Un groupe légitime apparait par hasard, constitué de personnes partageant les mêmes avis et voulant les faire connaitre. Mais si un groupe de personnes écrit des avis concordants sur de très nombreux produits, il est très probable que ce groupe tente de manipuler le système.

En plus de ces caractéristiques concernant les groupes, il y a quelques caractéristiques concernant les individus, ainsi que leurs relations au groupe qui les contient.

Contenu similaire, dérive de notation et rapidité de publication

Il s'agit des mêmes indicateurs que pour les groupes, mais appliqués au niveau de la personne. Ils servent à renforcer la conclusion sur les groupes, mais ne permettent pas à eux seuls de décider de la valeur d'un ou plusieurs avis.

Couplage au groupe

Une personne légitime peut se retrouver par erreur embarquée dans un groupe de tricheurs si elle a publié sur les mêmes produits que ces derniers. En revanche, son couplage au groupe ne sera pas parfait car cette personne aura probablement proposé quelques avis sur des produits non touchés par les spammeurs du groupe en question. Le couplage mesure à quel point une personne travaille de manière fréquente avec un groupe donné.

Maintenant, la question a 1000 dollars c'est de savoir si avec ces caractéristiques on peut construire un outil de classification qui repère les faux avis. Et la réponse est bien sur oui. C'est d'ailleurs la vraie grosse contribution du papier : construire un mécanisme de ranking et prouver statistiquement sa validité. Là aussi, pour les aspects mathématiques, je vous renvoie à l'article. Mais si tout à l'oeil j'ai parlé d'un oeil averti, cette partie là est bien plus complexe, c'est pour les spécialistes. Cependant, vous pouvez retenir que l'outil construit par les auteurs repèrent toujours plus de 90% des faux avis (la valeur exacte dépend du paramétrage choisi).

La conclusion ? Et bien je vous laisse trouver la conclusion vous même 🙂 Puisque bien sûr elle dépendra de votre camp...