Expérimentation augmentée : quand l'IA redéfinit l'AB testing

Julien Redelsperger : « Et pour cela, j'ai le plaisir d'être accompagné par Frédéric de Todaro, qui est Chief Product Officer chez Kameleoon. Aujourd'hui, nous allons donc parler d'IA, d'AB Testing et d'expérimentation. Bonjour Frédéric, merci de participer à cet épisode d'AI Experience. Comment vas-tu ? »

Frédéric de Todaro : « Salut, ça va très bien, merci d'avoir invité. »

Julien Redelsperger : « Avec grand plaisir. Frédéric, avant qu'on rentre un peu dans le détail et qu'on parle d'IA, juste pour les personnes qui ne sont pas familières avec ce qu'on appelle l'expérimentation et les tests AB, j'aimerais qu'on revienne un peu aux bases quelques instants. Est-ce que tu peux juste nous réexpliquer qu'est-ce que c'est et à quoi ça sert ? »

Frédéric de Todaro : « Oui, bien sûr. Dans ta question, il y a deux notions importantes. Tu parles d'expérimentation et de test AB. Ça reste des concepts qui sont relativement très proches et qui sont souvent utilisés de manière interchangeable, mais il y a quelques nuances importantes que je veux soulever là. Juste rapidement, le test AB, c'est une des méthodes les plus connues dans le domaine de l'expérimentation. L'objectif, c'est simple. Tu compares deux versions d'une page, d'un élément ou d'un contenu. La version A, c'est ta page d'origine qui sert de contrôle et la version B, c'est là où tu introduis globalement le changement. Le principe, c'est de présenter la variation B à 50% de tes visiteurs et la version A aux 50% restant de manière complètement aléatoire. Ça, c'est important. Un des éléments fondamentaux du test AB, c'est que les utilisateurs ne savent pas qu'ils participent à un test AB. Et l'objectif, c'est que tu mesures ensuite des indicateurs clés comme le taux de conversion, le revenu, pour déterminer si la version B apporte une amélioration significative. Donc, tu as un échantillon qui est représentatif. C'est une approche scientifique, statistique, incontestable et qui te permet de valider que les résultats observés sont directement liés au changement que tu testes au travers de ta version B. Ça, c'est le test AB. Après, tu as l'expérimentation qui est un concept un peu plus large, qui englobe les tests AB, mais pas uniquement. Elle inclut d'autres pratiques comme ce qu'on appelle le feature flagging, un concept très technique qui est utilisé souvent par les équipes produits R&D, qui permet de déployer progressivement une nouvelle fonctionnalité en production. Donc là, l'objectif, ce n'est pas vraiment de comparer une version A avec une version B, mais plutôt de s'assurer que la fonctionnalité que tu introduis, elle fonctionne bien, elle n'a pas de bug, elle apporte une valeur réelle avant d'être déployée à tous les utilisateurs. Donc, les tests AB sont en quelque sorte une forme d'expérimentation, mais l'expérimentation va un petit peu au-delà. Elle inclut des méthodologies qui sont dans le cycle de développement d'un produit. Et donc, tu t'assures que chaque élément que tu introduis, il est validé avec un déploiement avant de faire un déploiement complet. »

Julien Redelsperger : « D'accord. Alors, Kameleoon est une plateforme de tests AB, donc d'expérimentation. Qui sont vos clients ? Est-ce que tu peux partager quelques noms ou quelques problématiques peut-être que les clients doivent justement rencontrer ? »

Frédéric de Todaro : « Oui, bien sûr. Écoute, on travaille avec énormément d'entreprises aujourd'hui dans tous les secteurs d'activité. On n'a pas forcément une verticale. On travaille avec des clients prestigieux comme Fnac Darty, Orange, Renault, des acteurs comme Lidl, comme le groupe Pierre et Vacances, par exemple, des banques aussi, comme la Société Générale, ou encore tu vas voir du Canada Goose. Donc, on traite différentes problématiques. Ça peut être optimiser la génération de leads, ça peut être optimiser la user experience, ça peut être optimiser tes campagnes promotionnelles. Donc, on a plein de sujets qui sont en général traités par rapport à nos clients. »

Julien Redelsperger : « Et quand on lance une expérience, a priori, ça a l'air assez simple. On a une page A, on a une page B, on a différents projets. Mais comment est-ce qu'on fait pour construire vraiment un programme d'expérimentation et quel rôle est-ce que toi tu joues au sein de Kameleoon pour justement faciliter ce processus ? »

Frédéric de Todaro : « C'est une bonne question. Avec une solution comme Kameleoon, tu peux maintenant lancer un test simple, un changement de wording, de couleur, déplacer des blocs en cinq minutes. Je dirais que des sociétés comme Kameleoon ont vraiment démocratisé la pratique du testing qui auparavant était surtout réservé aux grandes entreprises. Sans ressources techniques, tu n'allais pas très loin. Aujourd'hui, on a rendu ça plus simple, plus accessible à tous. Et donc aujourd'hui, je dirais que le défi, ce n'est pas tant de comment tu vas lancer ton test, comment tu le fais. C'est facile maintenant. Je pense que le véritable enjeu, c'est de bâtir un programme qui soit structuré, durable, évolutif. Ça demande de la méthodo, des objectifs qui sont clairs, des processus bien définis. Et surtout, c'est ça qui est important, une collaboration on va dire fluide entre les différentes équipes, qu'elles soient marketing, produits et techniques. On entend souvent parler d'entreprises comme du Spotify, du Amazon qui lancent des milliers de tests chaque année. Je pense qu'elles ont compris dès le premier jour qu'il fallait permettre à n'importe qui dans l'organisation de pouvoir initier les tests AB. Pourquoi ? Parce qu'il y a une relation directe entre le nombre de tests que tu lances et le revenu que tu génères aujourd'hui. Donc l'expérimentation, c'est vraiment un moteur d'innovation dans ces entreprises. Et donc je dirais que le succès, ça va reposer sur une vraie culture de l'expérimentation où les équipes collaborent efficacement pour exploiter les résultats, prendre des décisions éclairées. Et c'est là que Kameleoon, une société comme Kameleoon, se distingue sur le marché. On met entre les mains des équipes produits, marketing, techniques, une plateforme qui est totalement unifiée, qui centralise, simplifie la pratique de l'expérimentation, qui est fondamentale si tu veux vraiment... Je ne dis pas qu'il faut lancer 1000 tests par an, mais si tu veux aller à ce niveau-là, il faut que tu aies ce genre d'architecture ou de solutions, parce que tout est conçu pour rendre ça simple. Le processus doit être fluide, collaboratif, impactant, tout en limitant aussi la sollicitation des équipes techniques qui sont en général très prises. »

Julien Redelsperger : « Alors, quel lien est-ce que tu fais entre l'intelligence artificielle et l'expérimentation au sens large ? Est-ce qu'il faut de l'IA pour faire de l'expérimentation ? Ou est-ce que l'IA vient apporter une couche supplémentaire, des fonctionnalités supplémentaires, mais qui n'empêche pas pour autant de lancer un test AB ou un programme d'expérimentation ? C'est quoi le lien entre les deux ? C'est ça que j'essaie de comprendre. »

Frédéric de Todaro : « En fait, l'IA va venir booster quelque part ton programme d'expérimentation à la facilité avec laquelle tu le fais. Il y a plein d'endroits où l'IA, on en a plein dans notre produit aujourd'hui, où on voit l'IA comme quelque part un copilote des équipes qui intervient à chaque étape du processus de la création d'un test. Je te prends un cas simple. Est-ce que tu dois pousser ce bon de réduction à tout le monde ou pas ? C'est souvent compliqué. Tu vas passer par du crunching de data, tu vas essayer de comprendre qui réagit bien à ton bon de réduction. L'IA vient complètement simplifier tout ça en calculant, en faisant des prédictions, en disant : "Ok, toi, je te vois, je sais que tu fais tel et tel comportement sur le site, je vais te donner une probabilité de conversion qui est relativement élevée." Ça permet quelque part aux équipes de se concentrer sur autre chose. On va laisser l'IA agir et les équipes peuvent ensuite se concentrer sur des sujets plus stratégiques. Tu as sur l'analyse aussi un test AB, comme je disais tout à l'heure, sur statistiques. Il faut être sûr de bien analyser les résultats. Avec l'IA, tu peux te connecter, tu lui dis : "Ok, donne-moi les principaux enseignements que j'ai sur mon test." L'IA va venir cruncher la donnée en 30 secondes, là où ça t'aurait pris peut-être une heure à regarder tous les indicateurs, de comprendre pourquoi tu as tel ou tel résultat. Et puis après, il y a d'autres sujets aussi. Je pense que l'IA aide à tout ce qui est tâches répétitives, des changements de contenu, le messaging. Tu n'as pas forcément besoin d'intervention humaine là-dessus. Tu peux laisser l'IA venir modifier les descriptions de produits à la volée parce qu'elle a la capacité de le faire. Et toi, tu peux ensuite te concentrer sur des sujets plus stratégiques ou des nouvelles features que tu veux mettre en place, là où l'IA n'a pas forcément cette capacité-là aujourd'hui. »

Julien Redelsperger : « C'est intéressant parce que je comprends ce que l'IA peut faire, mais qu'est-ce qu'elle ne peut pas faire quand on parle d'expérimentation ? Jusqu'où est-ce que l'IA est capable d'aller et jusqu'où finalement on va se dire que c'est trop compliqué ou ce n'est pas nécessaire ou juste elle n'est pas assez bonne pour répondre à cette problématique ? »

Frédéric de Todaro : « C'est une bonne question. Je pense qu'il y a pas mal de choses sur lesquelles on a des limitations sur l'IA. L'IA ne va pas par exemple t'inventer une vision produit, elle ne va pas forcément aligner ton programme d'expérimentation sur les objectifs stratégiques de ton entreprise. Il y a aussi la notion de... tu as des nuances métiers parfois, il te faut du contexte que l'IA n'a pas. Et donc certaines décisions nécessitent une analyse humaine, c'est indéniable. L'humain est connu pour avoir de l'intuition aussi. Donc l'IA ne va de toute manière pas remplacer ton intuition. Les décisions aujourd'hui qui sont basées sur une expertise métier, ça reste globalement hors de portée pour l'instant d'une IA. »

Julien Redelsperger : « Et est-ce que tu as senti toi un changement depuis 2022, depuis en gros la sortie de ChatGPT et de la démocratisation de l'IA générative ? Est-ce que tu as senti une forme d'accélération d'IA dans le monde de l'expérimentation ? Est-ce qu'on en parle plus aujourd'hui qu'on en parlait avant la sortie de ChatGPT ? Et est-ce que vous t'en faisiez avant ? Est-ce que c'était déjà un sujet avant chez vous ? »

Frédéric de Todaro : « C'est une bonne question. Chez Kameleoon, on a mis en place de l'IA depuis le premier jour. Quand j'ai rejoint en 2012, il y avait déjà des personnes chez nous qui travaillaient sur des algorithmes prédictifs. Parce que je pense que l'IA aujourd'hui ne peut pas tout faire non plus. Il y a de la décision en temps réel que l'IA ne sait pas faire. On parlait tout à l'heure de ciblage prédictif où l'IA est en mesure de calculer des scores de probabilités de conversion. L'IA générative ne sait pas faire. T'as besoin d'avoir cette information en temps réel depuis le site web. L'IA est très bonne pour encore une fois t'aider à analyser tes tests AB, à générer des hypothèses, mais par contre prendre une décision en temps réel à propos d'une multitude de données, l'IA générative ne sait pas encore faire. Donc nous, on a des algorithmes qui sont propres, qui permettent de quelque part de reproduire un peu le comportement d'un commercial en magasin qu'on déteste. Quand on rentre dans un magasin, t'as toujours l'impression d'avoir un commercial derrière tes épaules. Mais en réalité, le commercial ce qu'il fait, c'est qu'il est en train de prédire ta probabilité d'acheter. Donc il va regarder comment t'es habillé, comment tu regardes les produits, quel téléphone t'as entre les mains. Et à partir de là, il se dit : "Bon, lui, il va acheter ou pas." Et donc l'IA prédictive de Kameleoon permet de faire ça. À partir de toutes les données que tu laisses, les scrolls que tu fais sur un site, les clics que tu fais, d'où tu viens, quel navigateur tu as, etc. L'IA va te prédire un comportement. »

Julien Redelsperger : « C'est un peu le langage corporel numérique qui est analysé par des moteurs d'IA. »

Frédéric de Todaro : « C'est ça, tout à fait. Donc on a toujours fait de l'IA. Après, clairement, quand l'IA générative est arrivée, tout de suite, on a eu beaucoup de demandes là-dessus. Est-ce que l'IA peut m'aider à analyser mes tests ? Est-ce qu'elle peut m'aider à générer des variantes aussi ? Donc j'ai une hypothèse. Génère-moi des variantes de tests. L'IA est très bien pour ça. Ou aide-moi à mettre en place mon test AB. J'ai pas le temps d'utiliser un éditeur graphique ou de demander à mes équipes techniques de coder. Génère-moi le code de la variante. Donc ça, l'IA est très bien aussi là-dessus. Elle a la capacité de générer du code. Elle a la capacité de comprendre comment la page est structurée. Bien mieux en réalité qu'une application ou qu'un humain, qui a souvent des limites techniques. Nos utilisateurs restent quand même des équipes marketing, qui n'ont pas forcément des connaissances techniques. Et l'IA vient suppléer. Ça reste un assistant. »

Julien Redelsperger : « Est-ce que ça veut dire que l'IA, quelque part, vient aussi baisser le niveau de compétence requis minimum pour faire de l'expérimentation ? Est-ce que tu peux dire finalement : "J'ai peut-être un peu moins de connaissances ou un peu moins d'expérience, mais grâce à l'IA, je peux en faire autant que quelqu'un qui a 10 ans d'expérience dans le domaine" ? »

Frédéric de Todaro : « Je n'irai pas jusque-là. Je n'irai pas jusque-là parce que je pense qu'il est nécessaire d'avoir une connaissance un peu statistique aussi. Ça reste un sujet statistique. Ça reste un sujet technique. Si tu n'as pas de connaissances sur la structure de ton site, sur des méthodologies statistiques, tu vas avoir des limitations parce que, in fine, ce qui est important de comprendre, c'est que je pense qu'il ne faut pas non plus faire totalement confiance à l'IA. Il y a plein de situations personnelles où parfois l'IA va avoir un biais parce que ça dépend beaucoup de comment tu as interrogé l'IA. Je pense qu'il ne faut pas avoir une confiance aveugle sur ce que l'IA te dit. Encore une fois, il faut prendre ça avec un peu de recul. C'est ça qui est important aussi. »

Julien Redelsperger : « Quand on parle d'IA générative, souvent on entend parler du terme "hallucination". Je récapitule rapidement. C'est en gros l'IA qui affirme de manière très convaincante des faits, des dates ou des situations qui n'existent pas, qui sont inventées de toute pièce. Comment est-ce que, toi Frédéric, vous appréhendez ça chez Kameleoon, dans vos outils nourris à base d'IA ? Est-ce que c'est un problème et comment vous pilotez ça ? »

Frédéric de Todaro : « C'est vraiment un problème. C'est intéressant ce que tu dis parce qu'on le voit régulièrement. Je prends un exemple. On a cette capacité, on a une solution qui s'appelle AI Assist avec laquelle tu dialogues. Un des prompts les plus utilisés, c'est : "donne-moi le code pour mettre en place un feature flag", etc. Il y a souvent des méthodes, des non-méthodes informatiques, bien que tu dises : "la documentation c'est celle-ci, regarde tout ça". On a mis tous les contrôles nécessaires pour éviter ces cas d'hallucination. On a aussi la feature dont je parlais très brièvement tout à l'heure, que l'on a appelée AI Experiments, qui permet de générer des contenus à la volée sur les pages. L'objectif c'est d'optimiser les descriptifs produits qui sont souvent un peu bancals sur les sites. C'est hyper important de contrôler ces effets d'hallucination pour qu'il n'y ait pas des mots interdits qui soient par exemple positionnés dans les fiches produits. Il y a beaucoup de contrôles qui sont faits. La qualité des comptes est hyper importante. Le contexte que tu lui donnes est aussi important pour éviter ces cas de figure. Si tu le laisses libre, évidemment tu vas avoir ce genre de situation. »

Julien Redelsperger : « Est-ce que Kameleoon a développé son propre LLM, son propre modèle de langage, ou est-ce que vous vous appuyez sur des technos existantes qui sont peut-être fine-tunées ou adaptées à vos besoins ? »

Frédéric de Todaro : « Il y a deux éléments de réponse. Sur tout ce qui est calcul de la prédiction d'achat, c'est vraiment du "home-made", du maison. Et sur le reste, sur l'analyse, AI Experiments, sur l'optimisation des contenus, ça reste du modèle GPT 4.0 pour les connaisseurs. Par contre, après on l'adapte, on lui donne un cadre de façon à ce que ça produise ce qu'on a envie que ça produise, quel est l'objectif final à la fin. »

Julien Redelsperger : « Ce que j'entends, c'est que l'IA va faciliter le travail des expérimentateurs, des professionnels de l'expérimentation, qui peuvent générer beaucoup de tests. Est-ce qu'on risque pas d'arriver dans le problème inverse, c'est-à-dire d'avoir trop de choses à tester ? Parce que techniquement, l'IA peut générer des centaines, voire des milliers de tests en quelques minutes. Jusqu'où on doit aller dans le test ? Et est-ce qu'il y a un risque de surcharge ? »

Frédéric de Todaro : « C'est une excellente question. Encore une fois, je pense que l'objectif, ce n'est pas de tester pour tester. L'idée, ce n'est pas de se dire : "je vais avoir des milliers de tests et ça ne va pas très bien", mais plutôt d'utiliser ça pour répondre à des enjeux qui sont stratégiques, augmenter les conversions, améliorer l'expérience utilisateur, ou encore favoriser la validation des nouvelles features quand on parle d'équipes produits qui utilisent notre solution. Quand on sait, dans la littérature, on lit souvent que 45 à 50% des fonctionnalités d'un produit ne sont jamais utilisées, ou que 70% sont considérées comme non-essentielles. Ce sont des chiffres qui font peur, puisque les équipes produits travaillent quand même sur des nouvelles features. On voit très vite le potentiel de l'expérimentation là-dedans pour optimiser un peu ce qui compte. Il ne faut pas tester pour tester, ou tout tester sans prioriser. C'est vraiment contre-productif ici, et c'est là que l'IA joue un rôle clé. Je parlais tout à l'heure encore une fois des tâches que tu peux laisser à l'IA et sur lesquelles une intervention humaine n'est pas nécessaire, comme l'optimisation de descriptifs, de contenus, etc. Demander à un humain de passer là-dedans, je trouve que c'est de la perte de temps. On attend plutôt l'humain sur les sujets stratégiques, encore une fois : quelles features vont apporter de la valeur, qu'est-ce qui pêche sur la conversion, est-ce que j'ai moyen de ne pas dégrader ma marge ? Je reprends le sujet des coupons promotionnels. Sur la plupart des sites, quand tu arrives aujourd'hui, tu as toujours une pop-up qui va t'offrir 10%, là où maintenant tu as quand même de l'IA qui te permet de faire beaucoup mieux. C'est ce qu'on essaie de faire un peu chez Kameleoon, c'est comme ça qu'on éduque nos clients aussi. Il y a des choses, quand elles font sens, qui sont pilotées par l'IA, et d'autres sur lesquelles tu as forcément des besoins. Ce n'est pas l'IA qui va inventer une hypothèse pour toi. Par contre, en revanche, une fois que tu as ton hypothèse, l'IA est très bien pour générer des idées de variantes très puissantes. On a vu des cas où un humain passait peut-être une heure à générer 3-4 variations, là où en 5 minutes, l'IA va générer une trentaine d'idées. Ensuite, c'est à l'humain de choisir celles qui font sens, qui répondent au contexte du site, qui répondent aux enjeux du site, qui répondent aux objectifs stratégiques. »

Julien Redelsperger : « Est-ce qu'on peut aussi tester plus rapidement ? Je sais que tu vas certainement y revenir, mais pour qu'un test soit statistiquement significatif, qu'il ait de la valeur, il faut qu'il y ait un minimum de personnes qui aient été exposées aux variations, etc. Le fait de créer beaucoup de tests grâce à l'IA ne veut pas dire qu'on va avoir beaucoup de trafic qui va être exposé à ces tests. Est-ce qu'il n'y a pas un espèce de schisme, de dichotomie entre la capacité de l'IA à faire et la capacité du site à absorber le trafic ou à générer du trafic ? »

Frédéric de Todaro : « Oui, tout à fait. C'est un élément important. C'est pour ça que je disais tout à l'heure : attention à bien contrôler. Faire des milliers de tests, ça ne fait pas sens parce que ton trafic reste limité. Et donc, comme c'est un exercice statistique, t'es obligé d'avoir des échantillons. En revanche, il y a des tests, il y a des personnalisations sur lesquelles l'IA fait sens. Par exemple, si t'as des variantes, imaginons que t'aies cinq idées qui pourraient répondre à une hypothèse, tu peux très bien demander à l'IA de pousser la variante qui correspond au visiteur. Ça fait totalement sens. Et donc, il y a une notion de trafic, évidemment, puisque l'IA va apprendre, en te poussant telle et telle variante, elle va apprendre des comportements des visiteurs et ajuster si ça ne fonctionne pas. Mais l'IA est très bien pour ça. »

Julien Redelsperger : « D'accord. Alors, on voit que l'IA, ça change évidemment beaucoup de choses dans la construction des programmes d'expérimentation, dans les outils, dans les fonctionnalités que vous utilisez. Est-ce que ça a un impact aussi sur les compétences des professionnels de l'expérimentation ? Est-ce qu'en gros, aujourd'hui, il faut être bilingue en IA pour travailler dans le domaine de l'A/B Testing ou de l'expérimentation ? Qu'est-ce que ça change sur les compétences des pros qui travaillent avec vous ? »

Frédéric de Todaro : « C'est une bonne question. Je vais emprunter une accroche que l'on voit souvent, qu'on entend souvent, mais qui reste très vraie. Aujourd'hui, je ne pense pas que l'IA va te remplacer toi en tant qu'expérimentateur, mais un expérimentateur qui maîtrise l'IA pourrait bien te remplacer. Et donc, ça, je pense que tout le monde l'a bien compris. »

Frédéric de Todaro : « C'est pour ça que la plupart, aujourd'hui, regardent aussi ces sujets-là, parce qu'une fois, l'IA va te permettre d'accélérer fortement et parfois, va te permettre d'apprendre des choses que tu n'aurais pas apprises tout seul ou pour lesquelles tu aurais dû solliciter toute une équipe de data scientists avant d'avoir ta réponse. Et donc, ça, c'est important d'avoir ça en tête. Après, il faut comprendre, je dirais, les possibilités offertes par l'IA, encore une fois, et comment tu intègres tout ça efficacement dans un programme d'expérimentation. C'est vrai qu'un leader d'expérimentation à l'ère moderne de la Generative AI doit savoir, doit identifier le moment où l'IA peut être un levier stratégique. Sans perdre de vue, tu vois, la nécessité d'une expertise humaine et d'un regard critique, comme je disais tout à l'heure, si tu prends en compte ce que l'IA te donne, je pense que tu as déjà perdu. Et donc, c'est important d'avoir ce recul, ce regard critique, parce que, encore une fois, l'humain fait bien mieux sur plein de sujets que l'IA. Et donc, je dirais que le jeu, c'est vraiment de collaborer avec l'IA plutôt que de l'avoir comme un substitut ou une menace aussi. Certains voient ça comme une menace sur le job. Je pense que ce n'est pas du tout l'idée, de voir ça comme ton partenaire, quelque part. »

Julien Redelsperger : « D'accord. Toi, au quotidien, en tant que directeur du produit de Kameleoon, est-ce que tu utilises de l'IA ? Est-ce que, je ne sais pas, pour travailler avec tes équipes, est-ce que tu utilises ChatGPT, d'autres outils ? Est-ce que tu peux nous partager un peu tes bonnes pratiques ? »

Frédéric de Todaro : « Oui, je ne suis pas un grand utilisateur, pour être honnête. Après, ChatGPT est, je crois, le deuxième onglet ouvert sur mon navigateur. Je l'utilise quotidiennement parce que, même pour, tu vois, on fait souvent des produits, ce qu'on appelle des requirements, des documents de requirements qui expliquent tous les besoins produits. Je demande souvent à l'IA : "Ok, est-ce que je n'ai pas oublié quelque chose là-dedans ? Est-ce qu'il y a des éléments qui ne sont pas clairs et que tu pourrais clarifier ?" Après, on a vu des choses intéressantes. On réalise beaucoup de sujets en production et parfois, on a des bugs. C'est intéressant de voir, on s'est posé, on s'est dit : "Ok, on va donner le code à l'IA et puis on va voir si elle aurait pu détecter, effectivement, le potentiel bug en production." Et ça n'a pas loupé. L'IA a pointé exactement l'endroit où il y avait un risque et on a trouvé ça hallucinant parce que, pour le coup, c'était vraiment un sujet très compliqué qui introduisait des changements en base de données assez critiques, et l'IA avait pointé le truc. Elle avait dit : "Attention, c'est un peu louche par là." Et donc on l'utilise de plus en plus. Et aussi, quand on a des risques sur lesquels on n'est pas sûr, on demande un check à l'IA aussi qui nous aide là-dessus. Donc, j'utilise ces deux endroits-là. »

Julien Redelsperger : « En matière de gestion des risques, ça a un impact, c'est ça ? Vous êtes capable un peu d'adapter votre gestion des risques quand vous lancez une nouvelle fonctionnalité, par exemple ? »

Frédéric de Todaro : « Oui, totalement. On ne le fait pas systématiquement, mais quand on sait qu'on a des changements critiques, on utilise l'IA pour revoir le code ou les processus, et ça nous aide beaucoup. Parfois, on découvre des points qu'on n'aurait pas identifiés autrement. L'IA devient alors un excellent assistant dans ces cas-là. »

Julien Redelsperger : « Ok, parfait. Donc, tu es installé à New York depuis peu et il y a quelques semaines, tu me disais que tu es allé au Texas, à Austin, pour assister à un événement qu'on appelle EXL Unite, qui est un des plus gros événements dans le domaine de l'expérimentation. Je suis un peu curieux de savoir, par rapport aux gens que tu as rencontrés sur place, par rapport aux entreprises qui étaient là, aux pros qui étaient présents, qu'est-ce qu'ils te disent ? Que disent les entreprises sur l'IA dans ce domaine aujourd'hui et c'est quoi leur perception ou leur crainte, si elles en ont ? »

Frédéric de Todaro : « Oui, effectivement, j'étais à cet événement-là, très sympa, beaucoup d'équipes matures dans le monde de l'expérimentation. Je pense qu'aujourd'hui, on sent que le discours autour de l'IA est devenu plus mature. On est moins dans l'effet d'euphorie initiale où tout semblait magique, etc. Je pense que toutes les limitations que j'ai citées, les challenges, je pense que la plupart les ont maintenant en tête. Ce qui ressort de manière unanime, c'est que ça reste un outil incroyable sur la génération d'idées, par exemple, parce que le rôle des personnes en charge de l'expérimentation, c'est d'identifier un problème, une hypothèse et d'avoir des idées. Les idées, c'est toujours ce qui est un petit peu pêché chez nos clients, ils nous ont toujours demandé des features qui permettent de générer des idées à la volée. Donc ça, très utilisé, ils partent d'une hypothèse, ils demandent à ChatGPT des idées de test. C'est le premier sujet, l'identification rapide de sous-segments. Je pense que la plupart maintenant ont compris que ça apportait de la valeur. Créer des segments, ça demande des équipes de data qui vont cruncher la data, qui vont nettoyer tout ça, etc. »

Julien Redelsperger : « Tu peux juste donner un exemple, un segment ? »

Frédéric de Todaro : « Un segment d'audience, un groupe d'utilisateurs qui sera réceptif, par exemple, à un message promotionnel. Donc ça, la plupart ont bien compris l'utilité. Sur l'analyse aussi, il y a quelque chose qui ressort beaucoup, sur tous les tests. Aujourd'hui, la plupart ont envie que tous les tests soient gagnants. Évidemment, ce n'est pas possible, il y a toujours des tests qui apportent quelque chose de négatif. Donc, il faut aussi qu'il y ait un moyen d'identifier un sous-segment qui serait réceptif ou qui, lui, a une variante gagnante. C'est une des features qu'on a, et ça tombe bien, on a pu la présenter aussi. L'idée de cette feature, c'est de regarder parmi tous les visiteurs qui sont exposés à l'A/B test, quel sous-segment serait réceptif de façon à pousser cette variante-là, qui est considérée comme étant non-compliante pour tout le monde, mais gagnante pour ce segment-là. »

Julien Redelsperger : « Est-ce qu'il y a des personnes ou des professionnels qui ont exprimé des doutes ou des craintes, ou des questions, qui se posent beaucoup de questions sur le sujet de l'IA ? »

Frédéric de Todaro : « Oui, je dirais qu'il y a peut-être des doutes encore aujourd'hui sur la partie analyse. On entend beaucoup parler d'IA sur sa capacité à gérer le contenu, mais elle reste très faible sur les calculs. Donc ça, c'est une vérité absolue. C'est vrai que, c'est pour ça que je disais tout à l'heure, il faut faire attention aussi sur les résultats que l'IA te donne, d'avoir ce recul, parce qu'on sait qu'il y a quelques complexités à faire des calculs. Donc, il faut regarder ça avec des pincettes. Et donc, ça aussi, je pense que les équipes, encore une fois, c'est un événement dans lequel tu as beaucoup de maturité aussi. Donc, les équipes ont bien compris que l'IA n'était pas la baguette magique qui répond à tout. Et ça, c'est important. Et j'ai trouvé ça vraiment très bien. »

Julien Redelsperger : « Alors, tu me disais tout à l'heure que tu as rejoint les équipes de Kameleoon en 2012. Comment a évolué le monde de l'A/B Testing et de l'expérimentation au cours de ces années ? À quelle vitesse ? Et est-ce que tu as l'impression d'une accélération et à quoi ça a ressemblé dans un an, dans deux ans, dans trois ans ? Comment tu vois évoluer les choses, toi qui as vraiment beaucoup d'expérience et d'historique sur le marché ? »

Frédéric de Todaro : « C'est vrai qu'il y a eu beaucoup d'évolution sur ce marché. Je pense qu'au début, la plupart des sociétés cherchaient des outils simples pour mettre en place des changements simples. Je pense que ce mindset-là a un petit peu évolué. Maintenant, on voit l'expérimentation comme un outil qui permet d'innover encore une fois. Et je dirais que les attentes, si je jump directement en 2024, je dirais que les attentes maintenant c'est : "Ok, tout ça c'est bien, etc. Mais est-ce que l'IA peut prédire le résultat d'un test avant même que je le lance ?" Donc ça, c'est une question qui revient souvent, qui est légitime. Je pense que c'est un peu le Graal que tout le monde aimerait bien avoir. Donc, je n'ai pas besoin de lancer un A/B test, l'IA va me dire : "Non, ça ne va pas marcher, pas besoin de le faire." Mais je pense qu'on n'y est pas encore parce que les comportements humains restent imprévisibles. Tu lances un test A/B, tu as un trafic qui est inconnu, tu as forcément des nouveaux visiteurs sur ton site. Et donc c'est très compliqué, je pense, de prédire le résultat d'un A/B test. Donc on n'y est pas encore. Évidemment, on suit ce sujet de très près puisque ça reste encore une fois, je pense, le Graal que tout le monde va avoir. »

Julien Redelsperger : « Et si on fait un peu de fiction, de science-fiction, un programme d'expérimentation entièrement piloté à l'IA, en termes de probabilité que ça existe un jour, ça serait combien dans les années à venir ? »

Frédéric de Todaro : « Non, je pense que tu es assez proche. En réalité, tu es assez proche sur certains aspects du programme d'expérimentation. Je pense qu'il y a des choses, quand tu dois faire un test A/B, tu es toujours obligé un petit peu de regarder ce qui se passe, de regarder les résultats, de voir les tendances, etc. Et pour parler un peu de l'IA, on a le sujet des agents IA, ce qui est un sujet qu'on regarde aussi, où l'IA est en mesure de prendre des décisions un peu en autonomie. Donc, si tu as un test A/B qui n'est pas concluant, l’IA peut itérer. Finalement, la variation B, tu la connais. Si tu fais tel changement en autonomie sur cette variation B, quels résultats ça amène, quels incréments ça amène, etc. Et je pense que là-dessus, on n'est pas très loin en réalité, d'avoir en autonomie ces actions qui sont menées par l'IA. Aujourd'hui, ce n'est pas ce qu'on fait, mais c'est quelque chose sur lequel on est en train de fortement travailler, d'être dans la prise de décision. »

Julien Redelsperger : « D'accord. Donc, on pourrait avoir un agent d'IA qui lance un test, le test n'est pas conclusif. Du coup, un autre agent prend le relais, fait les modifications ou les changements et relance un nouveau test, le tout sans intervention humaine. »

Frédéric de Todaro : « Oui, c'est ça. Tu peux recevoir un petit message. Mais oui, l'idée c'est un peu ça. L'idée c'est un petit peu ça. L'idée c'est un petit peu ça, parce qu'en réalité, c'est ce que la personne en charge de l'expérimentation fait au quotidien. Elle va lancer son test A/B, elle va regarder les résultats, évidemment avec le niveau statistique qui est nécessaire et ensuite, elle va adapter sa variation B, elle va relancer un test. Et l'idée, c'est d'automatiser un petit peu cette tâche-là. C'est totalement faisable avec la technologie qui est actuellement disponible. »

Julien Redelsperger : « Je sais que c'est une question qu'on doit sans doute beaucoup te poser, mais est-ce qu'il y a un trafic minimum à avoir pour juger la pertinence d'un test ? Est-ce que ça se mesure en quoi, en dizaines, centaines, millions d'utilisateurs ou de visiteurs ? C'est quoi le calcul qui permet de dire que ce test a assez de trafic pour être pertinent ? »

Frédéric de Todaro : « C'est une bonne question. Il y a deux éléments importants qui sont fondamentaux. Le premier, c'est ton trafic, donc combien de visiteurs voient ton A/B test et le nombre de conversions. Plus ces deux chiffres sont importants, moins tu as besoin d'avoir un échantillon qui est important. Par exemple, si tu es dans le B2B, souvent tu n'as pas énormément d'utilisateurs actifs sur ton produit. En revanche, tu as énormément plus de conversions que tu ne l'as sur un site e-commerce. Tout ça, ça se complète un petit peu. Tu n'as pas forcément besoin d'avoir beaucoup de visiteurs parce que tu as des conversions qui sont hyper importantes. Ce sont les deux indicateurs fondamentaux. Après, je n'ai pas exactement les chiffres en tête, mais en général, si on se dit qu'il faut laisser un test tourner un minimum d'une semaine pour prendre en considération les effets, tu vois, semaine versus week-end, où les comportements des visiteurs ne sont pas forcément les mêmes. Et après, sur la moyenne, ce qu'on observe, c'est deux ou trois semaines en fonction des sites. »

Julien Redelsperger : « D'accord, parfait. Et alors, quel conseil est-ce que tu donnerais aux organisations, aux entreprises qui cherchent à adopter l'IA dans les programmes d'expérimentation ? Est-ce qu'il y a des bonnes pratiques ? Est-ce qu'il y a des conseils ? Est-ce qu'il y a des erreurs à éviter peut-être ? »

Frédéric de Todaro : « Il faut clarifier les objectifs avant de se lancer. Pourquoi tu veux utiliser l'IA ? À quel endroit tu veux l'utiliser ? Je pense qu'on a beaucoup d'organisations, de boîtes qui adoptent de l'IA parce que c'est à la mode et il faut le faire sans savoir vraiment ce qu'elles veulent en tirer. À quel endroit c'est important pour toi ? Est-ce que c'est encore une fois dans la compréhension de qui sont tes visiteurs ? Et donc tu as besoin d'avoir de l'IA qui vient créer des audiences pour toi. Ou est-ce que c'est sur la part de l'analyse parce que tu lances tellement d'A/B tests que tu n'as pas les data scientists et data analysts qui vont et donc tu as besoin de l'IA à ce niveau-là ? Ou est-ce que c'est parce que tu es tellement mature sur ton programme d'expérimentation que pour aller chercher des petits incréments il faut que tu fasses l'extra mile ? Et donc c'est là où tu vas avoir besoin d'intelligence artificielle qui te génère des idées, qui te crée des expériences à la volée pour que tu puisses te concentrer. Il faut clarifier quand même les objectifs sur tes attentes et où est-ce que toi tu en es par rapport à ton programme d'expérimentation. Il faut commencer un peu par définir tout ça. Après il faut aligner aussi évidemment les cas d'usage, tu vois, aux priorités stratégiques de la boîte, voir où est-ce que tu investis, quelles compétences tu viens compléter. Et puis après il faut bien sûr évidemment rester pragmatique avec tout ça. Encore une fois l'IA est un outil hyper puissant mais elle ne remplace pas l'humain sur la vision, sur l'intuition qu'elle amène, la créativité aussi. Donc il faut voir ça comme une complémentarité. »

Julien Redelsperger : « Est-ce que tu penses qu'on parle assez de la valeur que peut apporter l'expérimentation dans une entreprise, dans un site de e-commerce ou autre ? Parce que c'est quand même un truc de niche. Quand tu fais du marketing, tu entends un peu parler de ces sujets-là mais c'est quand même pas très grand public quand on parle d'A/B testing et d'expérimentation. »

Frédéric de Todaro : « Ouais c'est sûr. Et pourtant j'ai partagé, tu fais tout à l'heure quelques chiffres sur les taux d'usage, les fonctionnalités, etc. Donc il y a énormément de marge de manœuvre dans les sociétés aujourd'hui pour l'expérimentation. Sans aller à mille tests comme ce que fait un Amazon, ce que fait un Spotify. Je pense qu'il y a effectivement un juste milieu à avoir. Et je trouve dommage effectivement que l'expérimentation parfois soit perçue comme un élément de niche alors qu'elle te garantit finalement que ce que tu mets en place apporte de la valeur à la fois pour l'utilisateur final mais aussi pour ton entreprise. L'objectif encore une fois, c'est de faire les deux : ce n'est pas juste d'amener de la valeur pour l'utilisateur, c'est aussi d'amener de la valeur pour l'entreprise, de répondre aux objectifs stratégiques. Et l'A/B testing reste la méthodologie de référence indispensable. Je pense que les Américains ont bien compris ça depuis longtemps. Il y a beaucoup d'études, encore une fois, il y a une d'Harvard qui est très connue qui montre encore une fois la corrélation entre le nombre de tests et la croissance sur le revenu. Donc il y a beaucoup de signaux quand même qui sont importants à considérer. Maintenant, je pense quand même que depuis 2012, où j'avais rejoint Kameleoon, et aujourd'hui, on n'est plus exactement sur cette compréhension-là. Je pense que la plupart des boîtes ont quand même compris ça. Il y a beaucoup de clients aujourd'hui qui viennent nous voir, qui sont matures et qui veulent mettre de l'A/B testing en place. Même les équipes produits, qui historiquement ne faisaient pas d'expérimentation, commencent à en faire. Au travers du déploiement progressif de fonctionnalités, ce qui reste une première étape dans le monde de l'expérimentation, mais elles y viendront. Quand tu es dans une approche ROIste, où ce que tu fais est mesuré par l'impact et le gain que tu amènes, l'expérimentation reste l'outil de référence. »

Julien Redelsperger : « D'accord. Tu as peut-être une dernière question pour toi maintenant que tu es basé à New York. Est-ce que tu sens une différence en termes d'état d'esprit entre le marché nord-américain et le marché français ou européen en termes de compréhension de la valeur de l'expérimentation ou la manière d'approcher l'IA dans ce sujet ? »

Frédéric de Todaro : « Historiquement, le marché américain a toujours été plus mature sur l'expérimentation. On voit typiquement beaucoup plus d'équipes produits qui s'équipent, d'équipes d'expérimentation qu'on ne le voit actuellement en Europe. En Europe, ça reste beaucoup encore des équipes digitales, marketing, ce qui est très bien. Je ne suis pas en train de dire que ce n'est pas bon, mais il y a une différence. Après, peut-être que la différence aussi se fait sur le fait que, quand tu veux mettre en place de l'expérimentation sur des équipes produits, il faut que tu aies une organisation produit qui soit mature. Et aux États-Unis, on sait que les organisations produits sont par définition plus matures qu'en Europe. Donc, c'est normal qu'elles soient beaucoup plus en avance que la France ou que l'Allemagne sur ce sujet-là pour mettre en place de l'expérimentation. Il faut que tu sois en capacité de délivrer rapidement des nouvelles fonctionnalités en production. Si tu n'es pas en capacité de faire ça, l'expérimentation ne tiendra pas. Il faut aller plus vite sur ce sujet-là. Donc, c'est indispensable, un prérequis, à la mise en place de l'expérimentation. »

Frédéric de Todaro : « Et sur l'IA, c'est assez curieux parce que je dirais que c'est plutôt l'inverse. On voit la France plus demandeuse de ce genre de choses, mais peut-être parce que ça va aussi avec la maturité du programme d'expérimentation. Quand tu as des équipes dédiées sur l'expérimentation, l'IA reste un outil, encore une fois, d'aide tant qu'un copilote, au quotidien. Quand tu as une organisation qui n'est pas hyper mature sur l'expérimentation, tu vas aller chercher de l'IA pour accélérer tout ça. Et donc, ça peut expliquer un petit peu les différences aussi sur la reconnaissance de l'IA dans le programme de l'expérimentation. »

Julien Redelsperger : « D'accord, parfait. Très bien. Merci beaucoup, Frédéric. Alors, à la fin de chaque épisode, l'invité du jour doit répondre à une question posée par l'invité précédent. En attendant d'écouter la tienne, je te laisse écouter celle de Nathalie Dupuy, qui est directrice artistique, formatrice, conférencière et exploratrice de l'IA. On écoute sa question. »

Nathalie Dupuy : « Alors, ma question est la suivante, c'est quel est votre avis à court ou moyen terme sur l'agentivité ou la multi-agentivité ? »

Frédéric de Todaro : « Oui, j'ai touché à moi déjà. Donc, moi, j'y crois, évidemment, encore une fois. Je l'ai précisé tout à l'heure après avoir des différents exemples où les agents de l'IA sont en capacité de prendre des décisions en autonomie en fonction des résultats qu'ils observent dans la métestre. Donc, oui, moi, je pense que c'est le futur, évidemment. Dans le monde de l'expérimentation, ça apportera énormément de gains. C'est une évidence. »

Julien Redelsperger : « D'accord. Et dans d'autres domaines un peu plus larges, si tu prends un peu de hauteur, la question des agents d'IA qui parlent entre eux, à quel point ça va être disruptif ou ça va changer un peu les paradigmes existants ? »

Frédéric de Todaro : « Moi, je dirais surtout ce qui est support aussi. Tu vois, toutes les demandes de support sur les sites web, souvent c'est une catastrophe sur les temps de réponse, sur la qualité des réponses, etc. Après, le service client, etc. Après, j'ai envie d'y croire et en même temps, c'est tellement spécifique, les demandes de chaque client sont tellement spécifiques. J'ai des cas de personnel ici aux États-Unis où c'est assez hallucinant. Je pense que, limite des fois, je me demande si on a perdu un peu le contrôle. On a déjà des agents, on a l'impression qu'on parle à des humains. En réalité, on parle… En réalité, on était en train de parler à un agent hier et je trouve que c'est très dangereux. Je trouve que c'est à la fois prometteur et dangereux. J'ai envie d'y croire et en même temps pas d'y croire. Moi, j'ai un cas personnel que je peux partager. Quand je suis arrivé aux États-Unis, la première chose que j'ai faite, c'est que j'ai appelé pour avoir Internet, puisque c'est quand même mon mode de travail. J'ai eu quelques soucis à la mise en place au début et donc, je discutais avec le support et ils m'avaient envoyé un responsable pour mettre en place Internet. Elle n'avait pas pu accéder au local, etc. J'ai contacté le support en disant "j'ai trouvé la clé pour le local, est-ce que vous pouvez renvoyer la personne ?" Et la personne, avec laquelle je discutais, m'a dit "oui, oui, pas de souci, la personne termine, dans une demi-heure, elle sera chez vous, il y aura peut-être deux milliards de personnes." Je recontacte, je lui dis "oui, oui, elle est en train de terminer, dans deux heures, elle arrive, etc." Il était 9h du soir, je n'avais personne. J'étais furieux, et l'IA me disait "demain matin, donc on était dimanche, demain matin, elle sera chez vous, je vous donne un bon de réduction pour satisfaction." Et en réalité, j'étais en train de parler à un agent. C'est dangereux en ce moment parce que l'agent me promettait des choses, je dis "attention, il y a des biais dans tout ça, l'IA va aller dans le sens où tu as envie d'aller quelque part." L'IA me promettait des rendez-vous qui n'existaient pas, elle me promettait des bons de réduction qu'elle n'avait pas. Et tu vois le truc, en fait c'était un agent, et le lendemain j'ai appelé au téléphone, je lui ai dit "écoutez, personne ne m'a dit non, il n'y a pas de rendez-vous qui ont été planifiés, et vous n'avez pas non plus une bonne réduction." Et c'est là où je lui dis "mais attendez, c'est hyper dangereux votre système, vous êtes sur de l'intelligence artificielle." »

Julien Redelsperger : « C'est clair. Du coup, tu peux manipuler un peu les agents de l'IA pour aller dans le sens où tu veux qu'ils aillent. »

Frédéric de Todaro : « Oui, parce que si tu es furieux, c'est là où c'est compliqué. Mais toi tu le vois aussi sur le GSPT, quand tu dialogues avec le GSPT et que tu n'es pas content de la réponse, l'IA va peut-être dire "excuse-moi, je me suis trompé, etc." et va aller dans ton sens. Il ne faut pas faire ça dans le domaine de l'expérimentation, il ne faut pas être furieux qu'un test ait échoué et du coup l'IA va t'apporter la confirmation. »

Julien Redelsperger : « Exactement. Merci beaucoup Frédéric, alors à toi à présent, quelles questions est-ce que tu aimerais poser au prochain invité ? »

Frédéric de Todaro : « Ça rejoint un peu ce que je suis en train de dire là, mais en gros je pense qu'on voit que l'IA s'est imposée partout. Tu vois, tu as une explosion de startups aujourd'hui autour de l'IA, je pense qu'il y a une startup qui se crée sur l'IA chaque jour avec des usages parfois un peu flous, notamment sur les réseaux sociaux ou les systèmes encore en fauteuil de support dont on a discuté tout à l'heure. Et donc on ne sait même plus si on interagit aujourd'hui avec de l'IA. Et donc quelque part ma question c'est : est-ce qu'on n'est pas allé trop vite dans tout ça ? Est-ce que 2025 ne risque pas d'être un bain de sang pour beaucoup d'entreprises qui se sont lancées dans l'IA sans une stratégie solide, sans concrètement avoir de business case à résoudre ? Et donc est-ce qu'on n'est pas déjà sur la prochaine bulle technologique ? Et donc c'est quoi ton pronostic aujourd'hui ? »

Julien Redelsperger : « D'accord, parfait. Eh bien merci beaucoup de ta participation Frédéric de Todaro. Je rappelle que tu es Chief Product Officer chez Kameleoon. Merci d'avoir participé à ce podcast. »

Frédéric de Todaro : « Merci Julien, à bientôt. »

Cette transcription a été réalisée par un outil d'intelligence artificielle. Elle n'est peut-être pas 100% fidèle au contenu d'origine et peut contenir des erreurs et approximations.

‍