Центр Автоматизации имеет функцию тестирования, которая позволяет убедиться, что созданная вами цепочка взаимодействия с клиентом работает должным образом. Вы можете начать тестирование программы, как только все ее пути будут проверены, а остановить тестирование можно будет в любой момент. При остановке тестирования программа возвращается в состояние В разработке.
Содержание:
Какие программы можно тестировать
Функцией тестирования в Центре автоматизации можно воспользоваться только в определенных условиях.
- Программа должна начинаться с одной из следующих транзакционных точек входа:
- Форма
- Изменение данных
- Новый контакт
- Внешнее событие
- Программа ранее не запускалась.
Ранее запущенную программу можно протестировать только с помощью узла A-/B-разделитель (см. ниже).
Чтобы протестировать программу, начинающуюся с узла Вход из другой программы, запустите программу, а затем переведите исходную программу в состояние Тестирование. Затем можно будет отправить тестовые контакты в обе программы и протестировать всю схему.
Тестирование программ перед запуском
осле запуска программы возможности для внесения изменений будут ограниченны. Вы можете остановить тест, внести изменения в программу и повторить тест столько раз, сколько потребуется. Это очень важный этап, позволяющий выявить слабые места и устранить их, прежде чем вы начнете выполнять свою программу «вживую».
Функция тестирования помогает убедиться, что программа работает так, как запланировано. Она не подходит для тестирования контента или проверки достижения желаемого эффекта контактами, которые через эту программу проходят.
Другими словами, оцениваемые в ходе тестирования КПЭ будут больше функциональными, чем стратегическими. На что нужно обращать внимание, так это на то, получаете ли вы сообщения, которые, по вашему мнению, программа должна выдавать, в нужное время и по нужному условию.
Тестируемый сегмент
Приступая к тестированию программы, вы должны выбрать тестовый сегмент. Затем вы можете подключать контакты из этого сегмента к взаимодействию с программой по мере необходимости. В режиме тестирования программой будут обрабатываться электронные адреса только в этом тестовом сегменте.
Вы можете взять сегмент целиком либо работать с отдельными контактами, чтобы протестировать свои программы, используя нужные критерии запуска. Тестовый сегмент может включать в себя не более 50 контактов. Если контактов больше, программа в любом случае обработает только 50.
Мы рекомендуем включить в тестовый сегмент контакты из вашей собственной организации (например, можно использовать сегмент, в котором адрес электронной почты должен заканчиваться на @вашакомпания.com).
Как тестирование влияет на отчетность?
Контакты, которые проходят через программу во время тестирования, не будут фигурировать в сводке программы. Тем не менее все сообщения, которые были отправлены и открыты, а также переходы по ссылкам отображаются на страницах отчетности о рассылках. Поскольку ваша программа может использовать эти данные, мы собираем их даже во время тестирования.
Тестовый сегмент очень небольшой, поэтому эти результаты не должны оказывать какого-либо значимого влияния на сводные показатели в течение нескольких дней после запуска программы.
Тестирование программы
Чтобы протестировать программу, выполните следующие действия:
- Нажмите Программа в разработке для отображения настроек программы.
- Нажмите Тест для выбора тестового сегмента. Затем нажмите Запустить тестирование.
Ваша программа будет проверена. Система отобразит все ошибки, которые помешали бы выполнению программы, и вы должны исправить их, прежде чем продолжить.
Когда ваша программа находится в состоянии Тестирование, вы можете начать привлекать контакты из тестового сегмента к взаимодействию с ней, как будто это обычные клиенты.
Например, если ваша программа начинается с узла Форма, вам нужно будет зарегистрировать тестовый контакт, используя эту форму, а затем проверить, что тестовый контакт получил сообщения, которые, по вашему мнению, он должен был получить.
Узлы Ожидание не отключаются на тестирование, но контакты можно провести через них мгновенно, нажав на значок Ускоренная перемотка вперед, который появляется на узле.
Тестирование программ после запуска
После запуска программы вы можете выполнить A-/B-тестирование только в отношении отдельных путей (см. далее). Любые другие изменения, которые вы вносите, могут кардинально изменить ход выполнения программы, поэтому сравнения «до» и «после» станут бессмысленными. Кроме того, они также могут негативно повлиять на контакты, которые уже проходят через программу.
Чтобы протестировать подобные существенные изменения в программе, вы можете скопировать программу, внести изменения и протестировать копию, а затем сделать эту копию основной, как только вы будете довольны результатами. Контакты, которые успели включиться в исходную программу, должны будут пройти через нее до конца, при этом новые контакты смогут пользоваться новой версией.
Если вы не хотите игнорировать контакты, которые уже в программе (например, ждут срабатывания таймера), то лучше всего приостановить программу, внести необходимые изменения, а затем скопировать программу и протестировать копию. Когда вы будете довольны результатом, вы можете возобновить исходную программу, но уже с новым рабочим процессом.
Узел «A-/B-разделитель»
Узел A-/B-разделитель — отличный способ тестирования незначительных улучшений в вашей программе или сравнения нескольких писем друг с другом. Такой подход позволяет постоянно экспериментировать и проверять новые идеи, продолжая оптимизировать свои стратегии и цепочку взаимодействия с клиентом.
Вы сами определяете размеры своих тестовых групп и контрольной группы, устанавливая значения в процентах для каждого узла разделителя.
В приведенном ниже примере мы тестируем два варианта электронного письма, выделяя каждому варианту по 10 % базы рассылки, при этом оставшиеся 80 процентов контактов будут получать исходную версию.
Когда вы будете готовы выбрать один вариант, увеличьте его долю до 100 %, а долю второго варианта уменьшите до 0. В дальнейшем все контакты будут получать выбранную вами версию.
Прежде чем принять окончательное решение, вы должны убедиться еще раз, что результаты являются статистически значимыми. Главные вопросы, которые необходимо принимать во внимание.
- Размер выборки был достаточен?
- Различия между двумя вариантами действительно значительные (вы получили тот же результат 19 раз из 20 в подобных тестах)?
Как мы распределяем контакты по путям
Возможно, сначала вы заметите, что количество контактов, проходящих через каждый разделитель, не совсем соответствует указанным для разделителей процентам. Это вполне объяснимо.
Чтобы статистические методы давали адекватные результаты, нам нужно устранить любые влияния, которые могут эти результаты искажать. Для групповых рассылок мы случайным образом делим список запуска между путями. С программой Центра Автоматизации все немного сложнее, поскольку контакты проходят один за другим и мы не знаем заранее, сколько контактов пройдет через узлы до того, как тест завершится.
Поэтому единственный способ предотвращения искажения результатов — это случайное направление каждого отдельного контакта по одному из путей в соответствии с их относительной вероятностью. При использовании такого вероятностного подхода требуется некоторое время, прежде чем распределение будет сведено к устойчивому шаблону. Совсем незаметными различия станут, возможно, после обработки нескольких тысяч контактов. Поэтому необходимо проявить терпение и дождаться, пока ваш тест не стабилизируется, после чего A-/B-тесты станут научно обоснованными.