Le Centre d'automatisation possède une fonction test qui vous permet de vous assurer que le parcours client que vous avez conçu fonctionne comme prévu. Vous pouvez commencer à tester un programme aussitôt que tous ses chemins ont été validés, et l'arrêter à tout moment. Lorsque vous arrêtez un test, le programme retourne à l'état En conception.
Table des matières
Qu'est-ce qui peut être testé dans un programme ?
La fonctionnalité test dans le Centre d'Automatisation vous permet de tester la logique de la structure de votre programme. Il y a quatre choses principales à tester :
- Que les contacts intègrent le programme au bon moment et pour la bonne raison.
- Que ces contacts progressent dans les différents chemins comme attendu, selon leurs réponses ou leurs propriétés de contact.
- Que tous les différents messages et autres actions sont exécutés comme prévu.
- Que les contacts quittent le programme au bon moment et pour la bonne raison.
Le test est particulièrement important pour vous assurer que vous avez arrangé la logique de tous les boutons de filtre correctement (c'est-à-dire que les bons contacts sont inclus ou exclus).
Puisque vous ne pouvez utiliser que des segments test, vous ne pouvez pas utiliser cette fonctionnalité pour tester l'efficacité marketing de votre programme, ou comparer celle de deux chemins différents. Pour cela vous pouvez utiliser la fonction de test A/B quand le programme est live.
Une fois que vous avez lancé un programme vos options pour le modifier sont assez limitées. Puisque vous pouvez interrompre le test, modifier le programme et le tester à nouveau autant de vois que vous voulez, c'est une étape importante pour identifier les points faibles et les améliorer avant le lancement effectif.
Quels programmes peuvent être testés ?
Vous ne pouvez tester que les programmes qui commencent par les points d'entrée transactionnels suivants :
- Formulaire
- Modification des données
- Nouveau contact
- Événement extérieur
En plus de cela, le programme doit être dans l'état En conception.
- Vous ne pouvez pas tester un programme après son lancement. Pour des conseils sur ce scénario, voir ci-dessous.
- Vous ne pouvez pas tester un programme qui commence par le point d'entrée Changement de données ou Nouveau contact en important des contacts. Dans ces cas-là, vous pouvez ajouter des contacts manuellement sur le menu Contacts > page Ajouter un contact ou utiliser l'API.
Si vous voulez tester un programme qui commence par le noeud Entrée à partir d'un autre programme, vous devez lancer le programme puis mettre le programme originel sur En phase de test. Vous pourrez alors faire passer les contacts test par les deux programme et mettre à l'épreuve le parcours entier.
Quels programmes ne peuvent pas être testés ?
Vous ne pouvez tester les programmes qui commencent par l'un des points d'entrée suivants :
- Segment cible
- Filtre récurrent
- Emails groupés
- Emails groupés récurrents
- Anniversaire
- Sur auto-importation
Comment le test de programme fonctionne-t-il ?
Le segment test
Le test de programme est réalisé en autorisant un ensemble spécifique de contacts à entrer dans le programme et à interagir avec lui. Ces contacts doivent déjà se trouver dans un segment. Quand vous réglez un programme sur En cours de test, votre première tâche est de sélectionner ce segment.
Seules les adresses email de ce segment test seront traitées par le programme pendant le test.
Cela sert à assurer que des contacts réels n'entrent pas accidentellement dans un programme pendant qu'il est testé. Vous pouvez soit utiliser le segment entier, soit des contacts individuels qui s'y trouvent, pour déclencher les critères d'entrée et entrer dans le programme. Seuls les 50 premiers contacts de votre segment test seront pris en compte. S'il en contient plus, les contacts supplémentaires ne seront pas traités par le programme.
Nous vous conseillons de créer un segment test à partir des contacts issus de votre propre organisation (par exemple utilisez un segment où les adresses email finissent en @votreentreprise.com).
Pour modifier votre segment test, arrêtez le test, puis sélectionnez un autre segment.
Veuillez noter que si vous arrêtez le test, tous les processus seront réinitialisés.
Comment le test affecte-t-il le reporting ?
Les contacts qui passent par le programme pendant le test n'apparaissent pas dans le sommaire du programme. D'un autre côté, tous les messages envoyés, ouverts et cliqués apparaîtront dans les pages de reporting email respectives. Cela s'explique du fait qu'il se puisse que votre programme s'appuie sur ces données, donc nous devons nous assurer qu'elles sont enregistrées même pendant le test.
Tant que vous faites le test sur un petit segment, vos réponses au test ne devraient pas avoir d'impact significatif sur le reporting du programme une fois que celui-ci a tourné quelques jours.
Tester un programme
Pour tester un programme, procédez de la manière suivante :
1. Cliquez sur Le programme est en conception pour afficher vos options de programme.
2. Cliquez sur Test et choisissez votre segment test. Puis cliquez sur Débuter le test.
A ce moment là, votre programme sera validé. Toutes les erreurs qui empêcheraient le programme d'être actif seront affichées et vous devez les corriger pour pouvoir continuer.
Lorsque votre programme est dans l'état En cours de test, vous pouvez commencer à le tester en utilisant les contacts dans le segment test pour interagir avec le programme comme des clients normaux le feraient.
Par exemple, si votre programme commence par un noeud Formulaire , vous devrez alors enregistrer un contact test en utilisant ce formulaire puis vérifier que le contact test a bien reçu les messages que vous vous attendez qu'il reçoive.
Les noeuds Attendre restent actifs pendant le test, mais vous pouvez y précipiter immédiatement des contacts en cliquant sur le badge Avance rapide qui apparaît sur le noeud.
Tester un programme en commençant par le point d'entrée Nouveau contact
Pour tester un programme qui commence par le point d'entrée Nouveau contact, procédez comme suit :
1. Créez votre segment test.
- Quand vous ajoutez des contacts à votre segment test, utilisez les adresses email qui ne sont pas déjà dans votre base de données de contacts dans Emarsys.
- Assurez-vous que les contacts dans le segment test remplissent tous les critères prévus dans votre programme, sinon ils seront exfiltrés avant d'avoir pu traverser votre programme.
2. Pour tester votre programme, cliquez sur Le programme est en conception dans le coin supérieur droit, sélectionnez Test, choisissez votre segment test à partir du menu déroulant, puis cliquez sur Commencer le test.
3. Sur votre site Web, inscrivez-vous avec les adresses email que vous avez spécifiées dans votre segment test. Cela entraînera la création de ces utilisateurs dans Emarsys.
4. Ouvrez votre programme en cours de test pour voir comment vos contacts test le traversent.
Pour pousser vos contacts vers les noeuds Attendre immédiatement, cliquez sur le badge Avance rapide qui apparaît sur le noeud spécifique.
Si vous voulez tester un programme après son lancement
Une fois qu'un programme est lancé, vous ne pouvez plus le mettre en mode test. Toute modification de votre part est susceptible d'altérer fondamentalement la nature du programme et de rendre caduques les comparaisons avant/après. Elles peuvent aussi affecter négativement l'expérience des contacts déjà intégrés au programme. Nous pouvons vous donner deux conseils sur le test de programmes après leur lancement :
1) Testez un nouveau programme, puis permutez les points d'entrée
Si vous souhaitez vraiment tester des modifications majeures à la structure d'un programme, vous pouvez le copier, modifier et tester la copie, puis faire repasser le point d'entrée à la copie une fois que vous êtes satisfaits des résultats. Avant de refaire passer le point d'entrée à la nouvelle version, nous vous conseillons de finir d'abord l'ancienne version et de n'activer qu'ensuite le nouveau programme. Vous éviterez ainsi d'avoir deux programmes actifs pour un seul but marketing.
Les contacts qui sont déjà entrés dans le programme originel devront y progresser, et après que vous avez activé le nouveau programme, de nouveaux contacts intégreront la nouvelle version.
2) Mettez le programme en pause et testez-en une copie
Si vous ne voulez pas ignorer les contacts se trouvant déjà dans un programme (par exemple ceux mis en attente à un noeud Attendre), votre meilleure option est de mettre le programme en pause, faire les modifications que vous souhaitez, puis copier le programme et tester la copie. Une fois que vous êtes satisfait du résultat vous pouvez alors reprendre le programme originel avec le nouveau flux de travail.
Nous vous conseillons de ne pas mettre de programme en pause plus de 30 minutes. Si un grand nombre de contacts ont été mis en attente, cela peut affecter la performance quand vous le relancez. Voir Mettre les programmes en pause.
Le noeud Séparateur A/B Splitter
Le noeud de Séparateur A/B est un formidable moyen de tester les améliorations mineures apportées à votre programme pendant qu'il est live, ou pour comparer différents messages (ou même différents canaux) les uns aux autres. Vous pouvez de la sorte expérimenter en permanence de nouvelles idées et continuer d'optimiser vos stratégies et d'améliorer votre parcours client.
Vous décidez de la taille de de vos groupes test et de votre groupe contrôle, en assignant des pourcentages à chaque noeud séparateur.
Dans l'exemple ci-dessous, nous testons deux variantes d'un email comportant chacune 10% de la liste de lancement, tandis que les 80% restant reçoivent la version originelle.
Quand vous sentez que vous avez fait assez de tests et souhaitez choisir l'un des chemins, faites passer le pourcentage du chemin préféré à 100% et réduisez ceux les autres à 0%. Tous les contacts futurs recevront désormais la version préférée.
Avant de prendre votre décision définitive, vous devriez vérifier une dernière fois la pertinence statistique des résultats. Il s'agit de garder à l'esprit ces questions clés :
- Le groupe échantillon était-il assez grand ?
- Les différences entre les divers chemins sont-elles vraiment significatives (obtiendriez-vous le même résultat 19 fois sur 20 pour des tests similaires)?
Sur l'assignation de contacts à des chemins
Au début vous remarquerez peut-être que les nombres de contacts passant par chaque séparateur ne correspondent pas exactement à leurs pourcentages respectifs. Vous serez heureux de savoir qu'il y a une très bonne raison à cela
Pour le bon fonctionnement des méthodes statistiques, nous devons nous assurer d'éliminer tous les effets qui pourraient biaiser les résultats. Pour les emails groupés, c'est facile, nous divisons simplement la liste de lancement de manière aléatoire entre les chemins. S'agissant d'un programme du Centre d'automatisation, c'est un peu plus compliqué, puisque les contacts y passent un par un, et nous ne savons pas à l'avance combien de contacts traverseront les noeuds avant la fin du test.
C'est pourquoi la seule manière dont nous pouvons nous assurer de ne pas biaiser les résultats consiste à assigner aléatoirement chaque contact particulier à l'un des chemins selon leur probabilité relative. Et les probabilités étant ce qu'elles sont, cela met un moment avant que la répartition commence à se stabiliser. Il peut y avoir besoin que plusieurs milliers de contacts traversent avant que les différences ne deviennent trop faibles pour être remarquables. Donc soyez patient, attendez que votre test se soit stabilisé, et tranquillisez-vous quant à la validité scientifique de votre test A/B.