Das Automation Center verfügt über eine Testfunktion, mit der Sie überprüfen können, ob die von Ihnen erstellte Customer Journey erwartungsgemäß funktioniert. Sie können Programme testen, sobald alle ihre Pfade validiert wurden; der Test kann jederzeit gestoppt werden. Wenn Sie einen Test stoppen, kehrt das Programm zum Status Designphase zurück.
Inhalt:
Was an einem Programm kann getestet werden?
Mit der Testfunktion im Automation Center können Sie die Logik Ihrer Programmstruktur testen.Sie können vier Dinge testen:
- Ob die Kontakte zum richtigen Zeitpunkt und aus dem richtigen Grund in das Programm eintreten.
- Ob diese Kontakte sich gemäß ihren Responses bzw. Kontakteigenschaften wie erwartet entlang der verschiedenen Pfade bewegen.
- Ob die verschiedenen Nachrichten und anderen Aktionen wie erwartet ausgeführt werden.
- Ob die Kontakte zum richtigen Zeitpunkt und aus dem richtigen Grund das Programm verlassen.
Das Testen ist insbesondere dafür wichtig sicherzustellen, dass Sie die Logik von Filter-Schaltern richtig angeordnet haben (d. h. dass die richtigen Kontakte ein- bzw. ausgeschlossen sind).
Da Sie nur Testsegmente nutzen können, können Sie diese Funktion nicht einsetzen, um die Marketingwirksamkeit Ihres Programms oder die eines Pfades im Vergleich mit einem anderen zu testen.Dafür können Sie die A/B-Testfunktion einsetzen, wenn das Programm online ist.
Sobald ein Programm gesendet wurde, sind Ihre Änderungsoptionen eingeschränkt. Ein vorab durchgeführter Programmtest ist ein wichtiger Schritt in der Qualitätsprüfung: Da Sie den Test stoppen, das Programm bearbeiten und so oft wie erforderlich neu testen können, bietet er eine gute Möglichkeit, Schwachstellen zu erkennen und sie vor dem tatsächlichen Versand zu beheben.
Welche Programme können getestet werden?
Das Programm muss mit einem der folgenden transaktionalen Einstiegspunkte beginnen:
- Formular
- Datenänderung
- Neuer Kontakt
- Externer Event
Außerdem muss das Programm den Status In Bearbeitung haben.
- Sie können ein Programm nicht testen, nachdem es gesendet wurde. Tipps für dieses Szenario finden Sie unten.
- Sie können kein Programm durch den Import von Kontakten testen, das entweder mit dem Eintrittspunkt Datenänderung oder Neuer Kontakt beginnt.In solchen Fällen können Sie Kontakte manuell hinzufügen, und zwar unter Kontakt hinzufügen im Menü Kontakte, oder Sie nutzen die API.
Wenn Sie ein Programm testen möchten, das mit dem Knoten Eintritt von einem anderen Programm beginnt, müssen Sie das Programm starten und dann die Einstellung Im Testmodus (in testing) für das ursprüngliche Programm vornehmen. Dann können Sie Kontakte durch beide Programme durchlaufen lassen und so die komplette Jouney testen.
Welche Programme können nicht getestet werden?
Sie können keine Programme testen, die mit einem der folgenden Eintrittspunkte beginnen:
- Zielsegment
- Wiederkehrender Filter
- Batch-E-Mail
- Wiederkehrende Batch-E-Mail
- Geburtstag
- Über Auto-Import
Wie das Testen von Programmen funktioniert
Das Testsegment
Das Testen eines Programms erfolgt, indem man eine bestimmte Gruppe von Kontakten in das Programm eintreten und mit ihm interagieren lässt.Diese Kontakte müssen sich bereits in einem Segment befinden.Wenn Sie ein Programm auf Im Testmodus setzen, ist Ihre erste Aufgabe, dieses Segment auszuwählen.
Nur in diesem Testsegment befindliche E-Mail-Adressen werden während des Tests vom Programm verarbeitet.
Das dient dazu sicherzustellen, dass keine echten Kontakte in das Programm eintreten, während es getestet wird.Sie können entweder das ganze Segment oder individuelle Kontakte daraus verwenden, die die Eintrittskriterien triggern und in das Programm eintreten.Nur die ersten 50 Kontakte in Ihrem Testsegment werden berücksichtigt.Alles, was darüber hinausgeht, wird vom Programm nicht verarbeitet.
Wir empfehlen, ein Testsegment aus Kontakten in Ihrem Unternehmen zu erstellen (verwenden Sie zum Beispiel ein Segment, dessen E-Mail-Adressen auf @ihrunternehmen.com enden).
Um Ihr Testsegment zu wechseln, beenden Sie den Test und wählen Sie ein anderes Segment aus.
Bitte beachten Sie, das alle Prozesse zurückgesetzt werden, wenn Sie den Test beenden.
Welche Auswirkungen hat ein Test auf das Reporting?
Kontakte, die im Zuge eines Tests das Programm durchlaufen, werden in der Programm-Zusammenfassung nicht erfasst. Andererseits werden alle gesendeten, geöffneten und geklickten Nachrichten auf den jeweiligen E-Mail-Berichtseiten angezeigt. Der Grund dafür ist, dass Ihr Programm möglicherweise auf diesen Daten basiert, daher müssen wir sicherstellen, dass sie auch während eines Tests verzeichnet werden.
Solange Sie mit einem kleinen Segment testen, sollten die Test-Responses keinen wesentlichen Einfluss auf das Programm-Reporting haben, wenn das Programm erst einmal ein paar Tage live ist.
Programm testen
Um ein Programm zu testen, gehen Sie wie folgt vor:
1. Klicken Sie Programm ist in Designphase, um die Programmoptionen anzuzeigen.
2. Klicken Sie Test und wählen Sie Ihr Testsegment. Dann klicken Sie Test starten.
Ihr Programm wird nun überprüft. Alle Fehler, die verhindern könnten, dass das Programm aktiv wird, werden angezeigt; Sie müssen die Fehler korrigieren, bevor Sie fortfahren können.
Wenn Ihr Programm den Status Wird getestet hat, können Sie den Test beginnen, indem Sie Kontakte aus dem Testsegment so mit dem Programm interagieren lassen, wie es auch Ihre Kunden tun würden.
Startet Ihr Programm beispielsweise mit dem Knoten Formular, würden Sie jetzt mit dem entsprechenden Formular einen Testkontakt registrieren und dann überprüfen, ob der Testkontakt auch die Nachrichten erhält, die er erhalten soll.
Warte Knoten sind während der Testphase nach wie vor aktiv. Allerdings haben Sie die Möglichkeit, Kontakte direkt durchzuschicken, indem Sie auf das Fast Forward Zeichen auf dem Knoten klicken.
Den Test eines Programms am Eintrittspunkt für neue Kontakte beginnen
Um ein Programm zu testen, das beim Eintrittspunkt Neuer Kontakt beginnt, gehen Sie wie folgt vor:
1. Erstellen Sie Ihr Testsegment.
- Wenn Sie Kontakte zu Ihrem Testsegment hinzufügen, verwenden Sie E-Mail-Adressen, die sich nicht bereits in Ihrer Kontaktdatenbank bei Emarsys befinden.
- Achten Sie darauf, dass die Kontakte im Testsegment alle Kriterien erfüllen, die in Ihrem Programm eingestellt sind. Andernfalls werden sie herausgefiltert, bevor sie Ihr Programm durchlaufen können.
2. Um Ihr Programm zu testen, klicken Sie oben rechts auf Programm ist in Designphase, wählen Sie Test aus, Wählen Sie Ihr Testsegment aus dem Drop-down-Menü aus und klicken Sie dann auf Test starten.
3. Melden Sie sich auf Ihrer Website mit den E-Mail-Adressen an, die Sie in Ihrem Testsegment festgelegt haben.Diese Benutzer werden dann bei Emarsys neu erstellt.
4. Öffnen Sie das Programm, das gerade getestet wird, um zu überprüfen, wie Ihre Testkontakte es durchlaufen.
Um Ihre Kontakte direkt durch Knoten des Typs Warten durchzuschicken, klicken Sie auf das Zeichen Schnellvorlauf, das auf dem jeweiligen Knoten erscheint.
Wenn Sie ein Programm nach dem Senden testen möchten.
Wenn ein Programm gesendet wurde, können Sie es nicht mehr in den Testmodus versetzen.Alle anderen Änderungen, die Sie vornehmen, stellen eine grundsätzliche Modifikation des Programms dar und machen jeden Vorher-Nachher-Vergleich bedeutungslos. Darüber hinaus können Sie die Erfahrung der bereits am Programm teilnehmenden Kontakte negativ beeinflussen. Wir haben zwei Tipps, wie Sie Programme nach dem Senden doch noch testen können:
1) Testen Sie ein neues Programm und vertauschen Sie dann die Eintrittspunkte.
Sollten Sie wirklich tiefgreifende Veränderungen an einem Programm testen wollen, können Sie es kopieren, ändern und die Kopie testen; wenn Sie mit den Ergebnissen zufrieden sind, können Sie mit dem Eintrittspunkt zur Kopie wechseln. Wir empfehlen, dass Sie erst die alte Version fertigstellen und dann das neue Programm aktivieren, bevor Sie mit dem Eintrittspunkt zu der neuen Version wechseln.Auf diese Weise vermeiden Sie, zwei aktive Programme mit demselben Marketingziel zu haben.
Kontakte, die bereits in das Originalprogramm eingetreten sind, müssen es durchlaufen; neue Kontakte können in die neue Version eintreten, nachdem Sie das neue Programm aktiviert haben.
2) Pausieren Sie das Programm und testen Sie eine Kopie davon.
Wenn Sie bereits im Programm befindliche Kontakte (die sich z. B. an einem Knoten des Typs Warten in der Warteschlange befinden) nicht ignorieren wollen, dann sollten Sie das Programm pausieren, die gewünschten Änderungen vornehmen, dann das Programm kopieren und die Kopie testen.Sobald Sie mit dem Ergebnis zufrieden sind, können Sie das Originalprogramm mit dem neuen Workflow wiederaufnehmen.
Wir empfehlen, Programme nicht länger als 30 Minuten zu pausieren. Wenn sich eine große Zahl an Kontakten in der Warteschlange befindet, kann dies die Leistung beeinträchtigen, wenn Sie das Programm wieder aufnehmen.Siehe Programme pausieren.
Der Knoten 'A/B Splitter'
Der Knoten A/B Splitter ist eine gute Möglichkeit, um kleinere Verbesserungen in Ihrem Programm zu testen, während es online ist, oder verschiedene E-Mails (oder sogar Kanäle) im Test miteinander zu vergleichen. Auf diese Weise können Sie immer wieder neue Ideen ausprobieren, Ihre Strategie kontinuierlich verbessern und die Customer Journey laufend interessanter gestalten.
Sie entscheiden, wie groß Ihre Testgruppen sind und wie groß Ihre Kontrollgruppe ist, indem Sie Prozentsätze zu den jeweiligen Splitter-Knoten zuordnen.
Im nachstehenden Beispiel testen wir zwei Versionen einer E-Mail mit jeweils 10% der Versandliste, während die übrigen 80% die Originalversion erhalten.
Wenn Sie der Meinung sind, dass Sie ausreichend getestet haben, und sich für einen Pfad entscheiden wollen, erhöhen Sie den bevorzugten Pfad auf 100% und reduzieren Sie die anderen auf 0%. Alle künftigen Kontakte erhalten von jetzt an die bevorzugte Version.
Bevor Sie Ihre finale Entscheidung treffen, sollten Sie noch einmal darüber nachdenken, ob die Ergebnisse statistisch relevant sind. Die wichtigsten Fragen dabei sind:
- War die Sample-Gruppe groß genug?
- Sind die Unterschiede zwischen den einzelnen Pfaden wirklich signifikant (d.h. würden Sie dasselbe Resultat 19-mal in 20 ähnlichen Tests erhalten)?
Wie wir Kontakte zu Pfaden zuweisen
Sie werden bemerken, dass die Anzahl der Kontakte, welche die einzelnen Splitter durchlaufen, nicht exakt mit den entsprechenden Prozentsätzen korrespondiert. Tatsächlich gibt es dafür einen sehr guten Grund.
Damit statistische Methoden gut funktionieren, müssen wir alle Einflüsse eliminieren, welche die Ergebnisse verfälschen könnten. Bei Batch-Mails ist das einfach - wir verteilen die Versandliste einfach willkürlich auf die einzelnen Pfade. Bei einem Automation Center Programm ist es etwas komplizierter, weil die Kontakte das Programm der Reihe nach durchlaufen und wir im Vorhinein nicht wissen, wie viele Kontakte die Knoten durchlaufen werden, bevor der Test endet.
Daher gibt es nur eine Möglichkeit, um sicherzugehen, dass die Ergebnisse nicht verfälscht werden: Wir weisen jeden einzelnen Kontakt willkürlich einem der Pfade zu, und zwar entsprechend ihrer relativen Wahrscheinlichkeit. Und wie es mit der Wahrscheinlichkeit nun mal so ist, dauert es eine Weile, bis die Verteilung ein stabiles Muster annimmt. Möglicherweise müssen mehrere tausend Kontakte das Programm durchlaufen, bevor die Unterschiede zu klein werden, um sie zu bemerken. Haben Sie also bitte etwas Geduld und warten Sie, bis Ihr Test stabil ist - Sie können sicher sein, dass Ihre A/B-Tests statistisch gültig sind.
