Quand on pense data, on a souvent une vision très « produit » de la chose au travers de concepts très abstraits tels que « l’expérience client personnalisée », « l’analyse prédictive », voir même « l’intelligence artificielle ».Mais bien avant d’influer sur notre business, si l’organisation même de nos entreprises et nos méthodes de travail étaient en réalité les premières victimes de la révolution « data » ? Focus sur un outil indispensable pour toute entreprise « data-driven » : l’ABTestUne présentation en 3 temps : 1 – Rappel assez général sur le sujet : Qu’est-ce qu’un ABTest ? Quand faire un ABTest ? Comment faire un ABTest ? Comment analyser un ABTest ? 2 – Retour d’expérience sur notre outil d’ABTest interne chez M6Web. 3 – Conséquences sur nos méthodes de travail et notre organisation.

1. ABTest : un outil
indispensable pour être
data driven ?
Laurent VION - BlendWebMix - Lyon - 27/10/2017

2. Introduction
Responsable R&D - Data @ M6
Septembre 2016
Profil technique / scientifique
8 ans d’expériences data/e-commerce

3. Le programme data
● Evangélisation : développer la culture data
● Mise en oeuvre : ABTest, forecast, segmentation, recommandation,
catégorisation, prédiction, lookalike ...
● Formation : former les équipes

4. Chiffres clés 6play
● 18 Millions d’utilisateurs logués
● 120 millions vidéos vues par mois
● 30% campagnes pub data OTT
● DataLake Hadoop 220 To

5. ABTest ?
2010
2nd job
premiers pas dans le web
abtest tout
2016
arrivé @ M6
peu/pas d’abtest

6. Courbe d’apprentissage
Un apprentissage en 3 phases :
1. Prise en main
2. Exploitation
3. Polissage

7. Plan
1 - ABTest ? quésaco ?
2 - ABTest sur le web
3 - ABTest & innovation
4 - Les pièges à éviter

8. ABTest?quésaco?

9. Définition
“Le test A/B (ou A/B testing) est une technique de marketing qui consiste à proposer plusieurs variantes d'un
même objet qui diffèrent selon un seul critère afin de déterminer la version qui donne les meilleurs résultats
auprès des consommateurs.”

10. Variantes
“Le test A/B (ou A/B testing) est une technique de marketing qui consiste à proposer plusieurs variantes
d'un même objet qui diffèrent selon un seul critère afin de déterminer la version qui donne les meilleurs
résultats auprès des consommateurs.”

11. Variantes
Rouge Jaune

12. Résultats
“Le test A/B (ou A/B testing) est une technique de marketing qui consiste à proposer plusieurs variantes d'un
même objet qui diffèrent selon un seul critère afin de déterminer la version qui donne les meilleurs résultats
auprès des consommateurs.”

13. Résultats
KPI : Key Performance Indicator
Qu’est-ce que la performance ?
Comment la mesurer ?

14. Consommateurs
“Le test A/B (ou A/B testing) est une technique de marketing qui consiste à proposer plusieurs variantes d'un
même objet qui diffèrent selon un seul critère afin de déterminer la version qui donne les meilleurs résultats
auprès des consommateurs.”

15. Consommateurs
Consulter ou observer ?
L’histoire du walkman jaune ...

16. Consommateurs
Observer !
"Si tu veux connaître quelqu'un, n'écoute pas ce qu'il
dit mais regarde ce qu'il fait"
Dalaï Lama

17. A retenir
ABTest
● Variantes
● Soumettre à des consommateurs
● Indicateurs de performance

18. ABTestsurleweb

19. Sur le web
Développement des variantes :
● Software
● Cycle de développement court
● Faible investissement
Suivi des utilisateurs & KPI :
● Tracking

20. Solution SaaS
● Pour commencer à jouer
● Web & Mobile
● Pas d’équipe d'ingénierie
● Pas d’infrastructure

21. Variantes
Variante A : Mosaique
(référence)
Variante B : Totem
(test)

22. Création des populations
Variante vont coexister en parallèle : 2 populations
distinctes.
Éviter les aprioris : tirage aléatoire

23. Création des populations
Continuité de l’expérience utilisateur
Calcul des métriques
-> Nécessité d’un id utilisateur (cookie,
idfa/adid, login …)

24. La loi des grands nombres
Le maximum d’utilisateurs !!
Plus on a d’observations, plus le
résultat sera fiable.

25. Résultats
KPI : Key Performance Indicator
Qu’est-ce que la performance ?
Comment la mesurer ?

26. Exemple - Call To Action
● Taux de click ?
● Taux de conversion ?
● Nombre de ventes ?
● Chiffre d’affaire ?
● Marge ?

27. Optimiser la bonne métrique
Algorithme
- privilégie les produits à forte commission
- perte de valeur pour l’annonceur
2 KPI : marge entreprise + marge annonceur
« Rien ne se perd, rien ne se crée : tout se transforme »
Antoine Lavoisier
Publicité à la performance : algorithme de prédiction
pour maximiser la marge

28. Stratégie de l’entreprise
Acquisition ? Monétisation ? Rétention ?
6play :
● 2 clients : utilisateurs + annonceurs
● 2 KPI : volume vidéo + volume pub

29. KPI Global ou filtré ?
Campagne CRM - Local
Campagne
classique
Campagne
data
Envoyés 714k 540k
Ouverture 16.00% 29,07 %
Click 1.10% 5.01%

30. KPI Global ou filtré ?
Campagne CRM - Global

31. Filtrage des outliers
Utilisateurs avec un comportement extrême :
● Bugs
● Bots
● Extrem users +++

32. Qualité des données
Avoir des données fiables !
Exemples :
● 1 euro = 132 yens
● 200 cartes visites = 200 produits

33. A retenir
● ABTest web = simple
● Attention aux KPI !!!

34. ABTest&Innovation

35. Course à l’innovation
Début des années 2000 : démocratisation d’internet,
premiers smartphones
Innover ou mourir !

36. Structure rigide

37. L’aversion au risque
2000€ ou pile ou face 6000€
Majorité des gens vont choisir les 2000€
Espérance de gain +50% avec le second choix
Minimiser les risques / Maximiser ses gains

38. Contradiction organisationnelle
Entreprise :
- course à l’innovation
- process trop rigide
- peu de prise de risque

39. ABTest
- Accélérer l’innovation
- Limiter la prise de risque
- Décentraliser l’innovation

40. Process projet
brainstorm
idées
valeur
priorité
développement
mise en
prod
$
$ $$
$$
$
Spécification
$$
$$
étude
marché

41. Fail fast
Échouer le plus vite possible
brainstorm
idées
prototypage ABTest

42. Innovation
Penseurs Faiseurs
“Des ignares qui ne comprennent rien au business.” “Totalement déconnectés de la réalité.
Vision incohérente et chaotique.”
Frustration / Ralentissements / Blocages

43. Innovation
Penseurs Faiseurs
Organe de régulation neutre et décentralisé
Objectifs (KPI) clairs
Challenge / Emulation / Ownership

44. Recommandation 6play
Martin B. : “trop compliqué, on ne saura pas
faire, il faut sous-traiter, c’est du CAPEX”
Nikola P. : “il suffit de lancer un algo de
collaborative filtering avec un cold start”
Olivier M. : “j’ai déjà une API en prod qui le fait depuis 2 ans
que personne n’utilise :’( ...”

45. Recommandation 6play

46. Recommandation 6play

47. Recommandation 6play
Fail fast : le monkey testing
Dégrader volontairement l’expérience
(Recommandation aléatoire)
Si les KPI diminue -> piste à creuser !

48. A retenir
● Contrôle la prise de risque
● Favorise l’innovation

49. Piègesàéviter

50. Savoir dire non
NON = OUI, MAIS ...

51. Temporalité
“Peut-on pas tester A puis B ?”
NON : il faut tester A et B en même temps
pour s’affranchir de la saisonnalité
(weekend, vacances, soldes, fin de mois, …)

52. Taille des populations
“Peut-on tester seulement sur 3000
personnes pour limiter le risque ?”
NON : les résultats ne seront pas assez
significatifs. De plus on peut stopper le test à
tout moment en cas de problème.

53. Scope du test
“J’aimerais ABTester un algo de recommandation
de programme en fin de vidéo”
NON :
next video : 30%
next programme : 20%
abtest : +10%
-> 0.3 * 0.2 * 0.1 = +0.6%

54. Simplification du produit
Identifier les “carrefours d’audience”
Simplification du produit
1 page simple

55. Dette technique
“Le test est positif, on peut le mettre
en PROD ?”
NON : Prototype qui marche != PROD.
De plus il faut cleaner les variantes
mortes.

56. Population prédéfinie
“Est ce qu’on peut mettre la variante A
sur les hommes et B sur les femmes ?”
NON : Les populations doivent être
aléatoires pour éviter tout biais.

57. ABTest en parallèle
“Doit-on se limiter à 1 abtest à la fois ?”
NON : On peut faire plusieurs ABTests
en parallèle sur des scopes différents.

58. Personnalisation
“Peut on activer la variante seulement sur une partie des
utilisateurs ?”
ABTest positif +5% en moyenne
En détail : +15% homme -5% femme
Si on active la variante uniquement sur les hommes -> +7.5%
NON : ABTest = A OU B, sinon on parle de personnalisation

59. Personnalisation
Algorithme de prédiction de variante :
“Choisir la meilleur variante pour un utilisateur donné”
On peut ABTester les algorithmes :-)

60. Les filtres
“J’aimerais avoir des filtres pour analyser les résultats en profondeur”
NON :
Combinatoire = 2M !
100 utilisateurs = bruit
Analyste dédié ou algorithme

61. Les filtres
“J’aimerais activer une feature technique via ABTest”
OUI !!!
player HTML5
Lancement Bug fix Généralisation

62. Conclusion

63. A retenir
● ABTest : relativement simple
● Premier use case big-data
● Quelques pièges simples à éviter
● Attention aux KPI !!!
● Fail fast

64. Piste de réflexion
Donner envie de :
● faire des ABTests
● innover
● prendre des risques

65. Questions ?