Tests A/BPro
Les tests A/B présentent deux versions d’un même réglage du chat à des visiteurs différents et mesurent laquelle donne les meilleurs résultats. Vous faites ainsi évoluer votre assistant d’après ce que font réellement vos clients.
Les tests A/B sont une fonctionnalité Pro. Ils se trouvent dans Assistant IA → Automations → Tests A/B. Les tuiles du haut comptent vos expériences et affichent la Couverture du test (7 j) : la part des sessions de chat des 7 derniers jours qui ont participé à une expérience en cours.
Ce que vous pouvez tester
Chaque expérience compare deux versions d’un même élément, la Variante A (Contrôle) et la Variante B (Challenger) :
- Message de bienvenue : la première bulle que voient les clients à l’ouverture du chat.
- Prompt système : les consignes qui orientent chaque réponse. Une modification à ce niveau touche tout le comportement de l’assistant : testez-la avec précaution.
- Personnalité / Ton : le style de la conversation, par exemple Professionnel, Amical, Normal, Enthousiaste ou Empathique.
- Message de déclencheur proactif : un autre message pour l’un de vos déclencheurs de relance de panier. Il vous faut au moins un déclencheur pour pouvoir tester cet élément.
Une seule expérience peut être en cours sur un même élément à la fois. Le lancement d’une seconde expérience sur le message de bienvenue, par exemple, est refusé tant que vous n’avez pas arrêté la première.
Partir d’un test suggéré
Tests A/B suggérés est une galerie d’expériences prêtes à l’emploi : Accueil : chaleureux vs professionnel, Accueil : court vs détaillé, Personnalité : décontractée vs formelle, Prompt système : court vs détaillé et Prompt système : orienté vente vs orienté support.
- Cliquez sur + Installer en brouillon sur une carte.
- Retrouvez la nouvelle expérience dans le tableau Expériences. Son statut est Brouillon : aucun visiteur ne la voit encore.
- Cliquez sur Aperçu pour lire les deux variantes côte à côte, puis sur Modifier pour les réécrire avec vos propres mots.
La sixième carte, Tester un déclencheur proactif, ouvre quant à elle la fenêtre Nouvelle expérience, car vos déclencheurs sont propres à votre boutique.
Créer votre propre expérience
- Cliquez sur Nouvelle expérience.
- Saisissez un Nom de l’expérience et choisissez l’Élément à tester. Pour un déclencheur proactif, renseignez aussi Quel déclencheur tester.
- Remplissez les deux variantes. La Variante A est préremplie à partir de votre réglage actuel ; la Variante B est la nouvelle version que vous voulez essayer.
- Réglez la Répartition du trafic. Le curseur correspond à la part des visiteurs qui reçoivent la Variante B, de 10 % à 90 %. La valeur par défaut est 50/50, et le libellé se lit A/B : « 30/70 » signifie donc 30 % pour A et 70 % pour B.
- Si vous le souhaitez, ouvrez le Calculateur de taille d’échantillon et ajoutez des Notes sur ce que vous espérez apprendre.
- Cliquez sur Enregistrer l’expérience. Elle est enregistrée comme brouillon.
Estimer la durée nécessaire d’un test
Dans le Calculateur de taille d’échantillon, saisissez votre Conversion de référence (%) et le Gain minimal à détecter (%), laissez la Confiance à 95 % et la Puissance statistique à 80 %, sauf raison particulière de les modifier, puis cliquez sur Calculer. Vous obtenez le nombre de sessions nécessaires par variante et, si votre chat a enregistré des conversations au cours des 7 derniers jours, une durée estimée à votre niveau de trafic actuel. Plus le gain à détecter est faible, plus il faut de sessions.
Démarrer, mettre en pause et reprendre
- Sur un brouillon, cliquez sur Démarrer et confirmez. À partir de cet instant, l’expérience s’applique au trafic réel et son statut devient En cours.
- Pour la mettre en pause, cliquez sur Pause et confirmez. Tous les visiteurs retrouvent vos réglages habituels et les données recueillies sont conservées. Le statut devient En pause.
- Cliquez sur Reprendre sur une expérience en pause pour répartir de nouveau le trafic, là où elle s’était arrêtée.
Dupliquer copie n’importe quelle expérience sous forme de nouveau brouillon : c’est le moyen le plus rapide de relancer un test ou d’essayer une troisième formulation. Le bouton × supprime une expérience avec toutes ses données ; cette action est irréversible. Seuls les brouillons peuvent être modifiés : pour changer un test en cours, dupliquez-le et démarrez la copie.
Comment les visiteurs sont répartis
Chaque session de chat est placée dans la Variante A ou la Variante B par un calcul effectué sur son identifiant de session, dans la proportion que vous avez fixée avec la répartition du trafic. Le résultat est toujours le même pour une même session : un visiteur conserve donc la même variante d’une page à l’autre et ne change jamais de variante au milieu d’une conversation. Vous ne choisissez pas qui voit quoi, et le visiteur non plus.
Lire les résultats
Cliquez sur Résultats sur une expérience en cours pour ouvrir son panneau, juste sous la ligne. Il affiche six indicateurs pour chaque variante :
- Sessions : la quantité de données dont dispose chaque variante. Ce n’est pas un score.
- Messages moyens : la longueur des conversations.
- Taux d’escalade : la part des conversations dans lesquelles le client a demandé à parler à quelqu’un. Plus il est bas, mieux c’est.
- Satisfaction moyenne : la note moyenne en étoiles, avec le nombre de notes sur lequel elle repose.
- Chiffre d’affaires total : la valeur des commandes attribuées aux chats de cette variante.
- CA / session : le chiffre d’affaires rapporté au nombre de sessions, ce qui en fait la comparaison la plus juste lorsque les deux variantes n’ont pas reçu le même trafic.
La colonne Gain (B vs A) donne l’écart en pourcentage, et la colonne Significativité indique, indicateur par indicateur, si cet écart a des chances d’être réel. Au-dessus du tableau, un bandeau nomme la variante en tête et le nombre d’indicateurs sur lesquels elle l’emporte ; le graphique Tendance quotidienne des sessions retrace l’activité des 30 derniers jours, et une barre de progression montre où vous en êtes par rapport à la taille d’échantillon recommandée. Une fois que des clients ont laissé des notes, un graphique Répartition de la satisfaction montre la distribution des étoiles pour chaque variante.
Ce que signifie le libellé de confiance
L’extension effectue un test statistique sur la part des sessions ayant abouti à une commande et le résume en un seul libellé de Confiance :
- Données insuffisantes : moins de 10 sessions dans une variante. Aucun test n’est encore effectué.
- Insuffisant : l’écart entre A et B peut s’expliquer par le hasard. Laissez le test se poursuivre.
- En approche : un signal apparaît mais n’est pas encore décisif. Laissez le test se poursuivre.
- Significatif : il est peu probable que l’écart soit dû au hasard (p < 0,05). Vous pouvez en tenir compte.
Quand désigner un gagnant
- Attendez le libellé Significatif. Le bandeau indique alors « Statistiquement significatif — vous pouvez promouvoir si le résultat métier est cohérent. »
- Vérifiez que le gagnant est en tête sur plusieurs indicateurs, et pas sur un seul. Une variante qui rapporte davantage mais que les clients notent moins bien n’est pas forcément celle que vous voulez.
- Regardez la tendance. Une avance qui se maintient ou se creuse au fil des jours est un vrai signal ; une forte avance initiale qui s’amenuise n’en est pas un.
- Dans la mesure du possible, menez une seule expérience à la fois. Si vous modifiez en même temps le message de bienvenue, le prompt et le ton, vous ne pourrez pas savoir quel changement a produit le résultat.
Sur une boutique peu fréquentée, cela peut prendre des jours ou des semaines. C’est normal : arrêter trop tôt parce qu’une variante est en tête après une poignée de sessions est la façon la plus courante de choisir la mauvaise version.
Adopter la variante gagnante
- Ouvrez les Résultats de l’expérience.
- Cliquez sur Promouvoir A ou Promouvoir B et confirmez.
La variante choisie devient votre réglage en production pour tous les visiteurs : le message de bienvenue, le prompt système ou le ton est mis à jour ou, pour un test de déclencheur, le message de ce déclencheur. L’expérience prend fin et passe dans le filtre Archivés (terminés) de la liste des expériences, où vous pouvez toujours consulter ses résultats.
Les deux boutons restent désactivés tant que chaque variante ne compte pas au moins 10 sessions, afin qu’un gagnant ne puisse pas être choisi sur des données quasi inexistantes. Utilisez la zone Notes / apprentissages, en bas du panneau, pour consigner vos conclusions.
Exporter les données en CSV
- Exporter en CSV, dans le panneau de résultats d’une expérience, télécharge les données de cette expérience.
- Tout exporter en CSV, au-dessus du tableau des expériences, télécharge les données de toutes les expériences dans un seul fichier.
Le fichier comporte une ligne par session de chat, avec les colonnes suivantes : experiment_id, experiment_name, variant, session_id, created_at, messages_sent, escalated, satisfaction_rating et revenue.
Toujours bloqué ?
Consultez le guide de dépannage, ou contactez le support en nous indiquant ce que vous avez déjà essayé.
