Mit der Wertmessung kalkulieren Sie den Impact Ihrer Automation Center Programme. Der Knoten Messung berechnet den durch ein Programm erreichten Mehrwert; dafür wird der generierte Uplift mit Ihren Key Performance Indicators (KPIs) verglichen.
Für eine kurze Zusammenfassung sehen Sie sich das Onboarding-Video für Vertmessung:
Wie funktioniert es?
Der Knoten Messung berechnet den Mehrwert Ihrer Programme wie folgt:
1. Er teilt die Kontakte in zwei Gruppen:
a. 90% der Kontakte werden der Treatment-Gruppe zugewiesen.
b. 10% der Kontakte werden der Kontrollgruppe zugewiesen (Zufallsprinzip).
Die Gruppenzugehörigkeit der Kontakte wird gemeinsam mit den Programmen gespeichert.
2. Die Kontakte in der Kontrollgruppe verlassen das Programm gleich nach dem Knoten Messung. Diese Kontakte erhalten keine weiteren Nachrichten von diesem oder einem anderen Programm, das den Knoten "Messung" enthält. Sie erhalten jedoch alle Kampagnen, die von Programmen ohne diesen Knoten gesendet werden.
Wenn Kontakte in den Knoten Messung eintreten, wird ihr Verhalten 5 Tage lang gemessen. Die Messung umfasst Interaktionen wie E-Mail-Öffnungen, E-Mail-Klicks, Website-Besuche, Mobile Push Öffnungen, SMS-Klicks und die Kaufdaten für jeden individuellen Kontakt. Der Messzeitraum von 5 Tagen kann nicht geändert werden. Die tatsächliche Länge der Programme wird dabei nicht berücksichtigt.
Bevor Sie einen Knoten des Typs Messung zu Ihrem Programm hinzufügen, sollten Sie Folgendes bedenken:
- Sie können zu einem Programm jeweils nur einen Knoten des Typs Messung hinzufügen.
- Es wird nicht empfohlen, Knoten des Typs Kanal vor einem Knoten des Typs Messung einzufügen.
- Sobald ein Kontakt in einem Programm zur Kontrollgruppe zugewiesen wurde, gehört der Kontakt in allen Programmen, die den Knoten verwenden, zur Kontrollgruppe. Das hilft uns, den kombinierten Effekt mehrerer Programme zu berechnen.
Auf der Seite Wertmessung können Sie den berechneten Mehrwert Ihres Programms einsehen.
Wie Sie den Knoten "Messung" verwenden sollten
Bevor Sie einen Knoten des Typs Messung zu Ihrem Programm hinzufügen, sollten Sie Folgendes bedenken:
- Sie können den Knoten Messung in wiederkehrenden und Batch-Programmen verwenden.
- Wir empfehlen, den Knoten Messung nach Knoten des Typs Segment und vor einem Kanal-Knoten einzufügen. Ein typisches Programm würde wie folgt aussehen:
Der Knoten "Messung" kann jederzeit aus dem Programm gelöscht werden. Damit kann das Programm wie im Versandplan definiert an alle Kontakte gesendet werden.
Nach Löschen des Knotens "Messung" kehren die Kontakte in der Kontrollgruppe nicht mehr in das Programm zurück.
Seite "Wertmessung"
Auf der Seite Analyse > Wertmessung erfahren Sie, welchen Uplift ein Automation Center Programm generiert, und können die Ergebnisse der Treatment-Gruppe mit jenen der Kontrollgruppe vergleichen.
Einige KPIs beschäftigen sich mit den Interaktionen eines Kontakts, zum Beispiel Anteil an Kontakten mit E-Mail-Öffnungen. Da die Kontakte in der Kontrollgruppe Marketingkommunikation von anderen Programmen ohne "Messung"-Knoten erhalten können, sind auch für diese interaktionsbasierten KPIs Vergleiche zwischen der Treatment-Gruppe und der Kontrollgruppe möglich.
Das ermöglicht uns auch, den Impact Ihres Programms mit dem "Messung"-Knoten zu berechnen und einem Szenario gegenüberzustellen, in dem Sie dieses Programm nicht haben.
Auf dieser Seite können Sie:
- In der linken oberen Ecke den Zeitrahmen spezifizieren. Das filtert die Ergebnisse der ausgewählten Programme.
- Die Metriken eines, mehrerer oder aller Automation Center Programme anzeigen, indem Sie die gewünschten Programme im Dropdown Gemessene Programme auswählen.
Wenn mehrere Programme ausgewählt sind, werden die aggregierten Ergebnisse angezeigt.
Im Widget Übersicht sehen Sie die folgenden Metriken für die Treatment- und Kontrollgruppe:
- Anzahl der Kontakte: Die Anzahl der Kontakte in der jeweiligen Gruppe. Die Treatment-Gruppe besteht aus 90% Ihrer Kontakte, die Kontrollgruppe besteht aus den restlichen 10%.
- Gruppengröße: Der Prozentsatz der Kontakte verglichen mit der Anzahl aller Kontakte, die in das Programm eintreten.
- Kaufrate: Der Prozentsatz der Kontakte, die gekauft haben, im Vergleich zu allen Kontakten in der jeweiligen Gruppe.
- Engagement-Rate: Der Prozentsatz der Kontakte, die in irgendeiner Form interagiert haben (E-Mail-Öffnung, E-Mail-Klick, Website-Besuch etc.), verglichen mit allen Kontakten in der jeweiligen Gruppe.
- KPI Performance: Die Anzahl der gemessenen KPIs, die aller Wahrscheinlichkeit nach einen positiven Effekt haben.
In den einzelnen KPI Widgets können Sie folgende Metriken überprüfen:
- Relativer Uplift - Die relative Performance der Treatment-Gruppe im Vergleich zur Performance der Kontrollgruppe, in Prozent ausgedrückt.
- Likelihood notification (Wahrscheinlichkeit) - Dieser berechnete Prozentwert zeigt, wie wahrscheinlich es ist, dass die Performance der Treatment-Gruppe jene der Kontrollgruppe übertrifft. Mit anderen Worten: Er zeigt die Wahrscheinlichkeit eines relativen Uplifts über 0.
- Gemessene Ergebnisse: Diese Zahlen zeigen, was während des Messfensters für die jeweilige Gruppe gemessen wurde.
Die Metriken für die individuellen KPIs werden auf Basis dieser Zahlen berechnet. Wenn die Kontrollgruppe zum Beispiel einen Gesamtumsatz von 8.207,1 EUR aus 74 Bestellungen aufweist, dann beträgt der durchschnittliche Bestellwert für die Kontrollgruppe (8207,1 / 74) = 110,9.
Berechnungen
Auf Basis der Messdaten werden für jede der Gruppen (Treatment- und Kontrollgruppe) die folgenden zusammenfassenden Statistiken erstellt:
- Anzahl der Kontakte
- Gruppengröße (Prozentwert)
- Anzahl der Käufe
- Gesamtumsatz
- Anzahl der Kontakte, welche die Website besucht haben
- Anzahl der Kontakte, die eine E-Mail geöffnet haben
- Anzahl der Kontakte, die in einer E-Mail geklickt haben
- Anzahl der Kontakte, die eine Mobile Push Message geöffnet haben
- Anzahl der Kontakte, die in einer SMS geklickt haben
- Durchschnittlicher Bestellwert
(Gesamtumsatz / Anzahl der Käufe)
- Durchschnittlicher Umsatz je Kontakt
(Gesamtumsatz / Anzahl der Kontakte in der Gruppe)
- Anteil an Kontakten mit Käufen
((Anzahl der Kontakte mit Käufen / Anzahl der Kontakte in der Gruppe) * 100)
- Anteil an Kontakten mit Website-Besuchen
((Anzahl der Kontakte, welche die Website besucht haben / Anzahl der Kontakte in der Gruppe) * 100)
- Anteil an Kontakten mit E-Mail-Öffnungen
((Anzahl der Kontakte, die eine E-Mail geöffnet haben / Anzahl der Kontakte in der Gruppe) * 100)
- Anteil an Kontakten mit E-Mail-Klicks
((Anzahl der Kontakte, die in einer E-Mail geklickt haben / Anzahl der Kontakte in der Gruppe) * 100)
- Anteil an Kontakten mit Mobile Push Opens
((Anzahl der Kontakte, die eine Mobile Push Message geöffnet haben / Anzahl der Kontakte in der Gruppe) * 100)
- Anteil an Kontakten mit SMS-Klicks
((Anzahl der Kontakte, die in einer SMS geklickt haben / Anzahl der Kontakte in der Gruppe) * 100)
- Kaufrate
((Anzahl der Kontakte mit Käufen / Anzahl der Kontakte in der Gruppe) * 100)
- Engagement-Rate
((Anzahl an beliebigen Interaktionen (zum Beispiel E-Mail-Klicks, Mobile Push Öffnungen, etc.) / Anzahl der Kontakte in der Gruppe) * 100)
Relativer Uplift und Wahrscheinlichkeitsberechnungen
Der relative Uplift je KPI wird aus den Werten der jeweiligen Gruppe wie folgt berechnet:
(Wert Treatment-Gruppe - Wert Kontrollgruppe) / Wert Kontrollgruppe * 100
Daraus ergibt sich der relative Prozentwert, um den die Treatment-Gruppe besser ist.
Unter Verwendung der Bayes'schen Methode der Kontrollgruppentestung berechnen wir die Wahrscheinlichkeit, mit der die Performance der Treatment-Gruppe jene der Kontrollgruppe übertrifft - dieser berechnete Wert wird als Prozentsatz dargestellt.
Bekannte Einschränkungen
- Der Knoten Messung kann nur in wiederkehrenden oder Batch-Programmen verwendet werden; eine Verwendung in transaktionalen und verhaltensfokussierten (Interactions) Programmen ist nicht möglich.
- Der Prozentsatz der Kontakte, die der Treatment-Gruppe und der Kontrollgruppe zugeordnet sind, kann nicht verändert werden.
- Berichte zur Wertmessung sind erst 3 Tage nach Eintritt eines Kontakts in ein Programm verfügbar; so wird sichergestellt, dass für die Berechnungen genügend Daten vorliegen.