L’A/B testing envoie deux à cinq versions d’une même newsletter, appelées variations, pour trouver celle qui fonctionne le mieux. Chacune a son propre contenu, son objet, son expéditeur et son texte d’aperçu (la courte ligne affichée après l’objet dans la boîte de réception). MailerPress mesure les ouvertures et les clics et identifie la meilleure variation.
Cette fonctionnalité nécessite MailerPress Pro, en version 2.1.0 ou ultérieure pour MailerPress et MailerPress Pro. Sans MailerPress Pro, Campagnes > Toutes les campagnes A/B affiche uniquement une présentation de la fonctionnalité.
Choisir une méthode de test
- Tester d’abord, puis envoyer la gagnante (nommée Tester, puis envoyer la gagnante dans le panneau d’envoi) : un échantillon, c’est-à-dire une partie de votre audience, reçoit d’abord les variations. À la fin de la période de test, MailerPress sélectionne la meilleure variation, qui peut ensuite être envoyée au reste de l’audience. C’est la méthode par défaut.
- Envoyer toutes les variantes maintenant (nommée Diviser toute l’audience dans le panneau d’envoi) : toute l’audience est immédiatement répartie entre les variations. Il n’y a pas de gagnante à attendre. Vous comparez les résultats après l’envoi.
Ne modifiez qu’un seul élément entre les variations (par exemple l’objet ou l’appel à l’action principal), pour savoir ce qui a fait la différence.
Créer une campagne d’A/B testing
- Allez dans MailerPress > Campagnes, puis cliquez sur Toutes les campagnes A/B dans la section Expérimentations de la barre latérale.
- Cliquez sur Créer une campagne. L’assistant Créer une campagne de test A/B s’ouvre.
- Éditeur : choisissez Éditeur visuel ou HTML brut.
- Informations de base : saisissez un Nom de la campagne et un Objet, puis sélectionnez au moins une liste. Vous pouvez aussi sélectionner des étiquettes (des libellés que vous attribuez aux contacts).
- Test A/B : choisissez la méthode et réglez les options décrites ci-dessous.
- Modèle (éditeur visuel uniquement) : partez de zéro, d’un modèle ou d’une campagne précédente. Toutes les variations démarrent avec ce contenu.
- Passer en revue : vérifiez le récapitulatif, puis cliquez sur Créer une campagne. MailerPress crée une campagne modifiable par variation et ouvre la variation A dans l’éditeur.
Options du test A/B
| Option | Description |
|---|---|
| Nombre de variantes | De 2 à 5 variations, nommées de A à E. |
| Répartition de l’échantillon / Répartition de l’audience | La part des destinataires que reçoit chaque variation : dans l’échantillon de test avec la méthode de la gagnante, sur toute l’audience avec la méthode de répartition. |
| Pourcentage de l’échantillon de test | Méthode de la gagnante uniquement. La part de l’audience qui reçoit l’envoi de test. 20 % par défaut, 90 % maximum. |
| Durée du test et Unité | Méthode de la gagnante uniquement. Le temps d’attente avant le choix de la gagnante, en minutes, heures ou jours. 24 heures par défaut, 30 jours maximum. |
| Variation de secours si aucune donnée | Méthode de la gagnante uniquement. La variation envoyée au reste de l’audience si aucune ouverture ni aucun clic n’est enregistré pendant le test. |
| Après la période de test | Méthode de la gagnante uniquement. Sélectionnez le gagnant et attendez la confirmation manuelle (vous envoyez vous-même la gagnante) ou Envoyer automatiquement le gagnant au reste de l’audience. |
Convertir un brouillon existant en test A/B
- Ouvrez un brouillon de campagne classique dans l’éditeur d’e-mail.
- Ouvrez le menu Réglages de la barre d’outils supérieure, choisissez Convertir en test A/B et confirmez.
Votre contenu devient la variation A et il est copié dans une nouvelle variation B. Aucun e-mail n’est envoyé. Le test utilise la méthode de la gagnante avec un échantillon de 20 % et une période de test de 24 heures. Vous pouvez modifier ces réglages avant le lancement.
Modifier les variations
Chaque variation se modifie comme une campagne classique. Utilisez le bouton Variations de la barre d’outils de l’éditeur pour passer de l’une à l’autre. Quand vous ouvrez une variation vide, MailerPress y copie le contenu de la variation que vous modifiiez : il vous suffit de changer l’élément à tester.
Si l’IA est configurée dans MailerPress Pro, les variations B et suivantes affichent un bouton Générer avec l’IA. Il réécrit le texte et l’appel à l’action en conservant le design, les couleurs, les images, la mise en page et le pied de page. Relisez le résultat avant l’envoi.
Pour revenir à une seule campagne tant que le test est un brouillon, ouvrez le menu Variations, choisissez Convertir en campagne standard et sélectionnez la Variation à conserver. Les autres variations et le test A/B sont supprimés.
Lancer le test
Quand vos variations sont prêtes, cliquez sur Prévisualisation et envoi dans l’éditeur. Le panneau A/B comporte quatre étapes :
- Contenu : choisissez une Variation à modifier et définissez son expéditeur (De), son Objet et son Texte d’aperçu. Chaque variation a ses propres valeurs. Vous pouvez envoyer un test de la variation sélectionnée depuis cette étape.
- Audience : dans Envoyer à, sélectionnez des listes et des étiquettes, ou un segment (un groupe de contacts qui répondent à des règles que vous définissez). MailerPress affiche le nombre de destinataires sélectionnés.
- Méthode : confirmez la méthode. La barre Qui reçoit quoi montre la répartition de l’audience. Avec Tester, puis envoyer la gagnante, réglez la Taille du groupe de test (de 1 à 90 %), Choisir la gagnante après et Envoyer la gagnante automatiquement. Dans Réglages avancés, vous pouvez modifier la Répartition du groupe de test et la variation utilisée S’il n’y a pas de données. Avec Diviser toute l’audience, définissez la Part par variation.
- Lancer : vérifiez le récapitulatif. Cliquez sur Lancer un test A/B pour démarrer maintenant, ou activez Programme pour une date ultérieure, choisissez une date et cliquez sur Planifier un test A/B.
Avant le lancement, chaque variation doit avoir un contenu enregistré, et l’audience doit compter au moins autant de contacts que de variations. Une fois le test lancé ou planifié, sa configuration ne peut plus être modifiée. Pour conserver vos réglages sans lancer le test, cliquez sur Enregistrer le brouillon.
Vous pouvez aussi lancer un test en brouillon avec sa configuration enregistrée : utilisez l’action Lancer dans Toutes les campagnes A/B, ou le bouton Lancer un test A/B dans Toutes les campagnes.
Comment la gagnante est choisie
MailerPress attribue un score à chaque variation : 60 % de son taux de clic (part des destinataires qui ont cliqué sur un lien) plus 40 % de son taux d’ouverture (part des destinataires qui ont ouvert l’e-mail). Si deux variations ont le même score, MailerPress compare le taux de clic, puis le nombre de clics, le taux d’ouverture et le nombre d’ouvertures.
Avec la méthode de la gagnante, MailerPress évalue le test à la fin de la période de test. Si aucune ouverture ni aucun clic n’a été enregistré, il utilise la variation de secours. Ensuite :
- si la gagnante est envoyée automatiquement, MailerPress l’envoie aux contacts de l’audience qui n’ont reçu aucune variation ;
- sinon, le test passe au statut Variante gagnante sélectionnée. Ouvrez Toutes les campagnes A/B et cliquez sur Envoyer la variante gagnante sur le test pour l’envoyer au reste de l’audience.
Avec la méthode de répartition, il n’y a pas de gagnante à envoyer : tout le monde a déjà reçu une variation.
Suivre les résultats
Campagnes > Toutes les campagnes A/B liste vos tests avec leur méthode, un aperçu des performances qui indique la variation en tête, et leur statut : Brouillon, Planifié, Test en cours, Variante gagnante sélectionnée, Terminé, Annulé ou Erreur.
Cliquez sur Voir les statistiques dans les actions de la ligne pour ouvrir le rapport complet :
- un verdict qui désigne la meilleure variation et explique pourquoi elle est plus performante ;
- Comparer les variantes : un tableau classé de la meilleure à la moins bonne, avec pour chaque variation le nombre d’e-mails envoyés, le taux d’ouverture, le taux de clic, le score et un aperçu de l’e-mail ;
- une Carte des clics de l’e-mail : utilisez Variante à afficher pour voir où les destinataires ont cliqué dans chaque variation.
Quand chaque variation n’a été envoyée qu’à peu de contacts, MailerPress vous avertit que les résultats indiquent une tendance et non une certitude.
L’action Actualiser les indicateurs recalcule les scores et enregistre la meilleure variation du moment. Utilisez-la seulement une fois la période de test terminée : avant, elle peut sélectionner une gagnante trop tôt, et l’envoie immédiatement si la gagnante est envoyée automatiquement.
Annuler ou supprimer un test
- Annuler le test est disponible pour les tests planifiés et en cours. Un test planifié repasse en brouillon. Pour un test en cours, l’évaluation de la gagnante et les envois restants sont annulés. Les e-mails déjà envoyés ne peuvent pas être rappelés.
- La suppression d’une campagne d’A/B testing supprime aussi ses variations. Un test en cours ne peut pas être supprimé : annulez-le ou attendez qu’il soit terminé.
Pour les statistiques de vos autres campagnes, consultez Statistiques et rapports de campagne.