Платформа A/B-тестирования

Заказчик:

Х5 Retail Group

Руководитель проекта со стороны заказчика

Михаил Неверов

Директор по анализу данных Х5 Технологии

Поставщик

X5 Group

Год завершения проекта

2021

Сроки выполнения проекта

Май, 2020 - Ноябрь, 2021

Масштаб проекта

25920 человеко-часов

Цели

Основная цель проекта: ускорить рост бизнеса X5 за счёт увеличения количества проводимых экспериментов, что достигается автоматизацией процесса АБ-тестирования.

Дополнительно проект решает следующие цели:

Повышение точности результатов АБ-тестирование за счёт исключения человеческого фактора.
Интеграция процесса АБ-тестирования в повседневные процессы компании.
Принятие решений на основе данных: data driven подход.

Уникальность проекта

Проект уникален как решение для реализации АБ-тестирования на оффлайн-объектах – физических магазинах торговой сети. В сфере оффлайн АБ-тестирования на рынке есть только один похожий продукт, тем не менее не реализующий всю необходимую математику для очистки данных и проверки вероятностей ошибок первого и второго родов (ложно положительный и ложно отрицательный вердикты) – Mastercard Test&Learn.

Таких образом, X5 реализован продукт, уникальный для рынка по сложности решаемых задач и масштабу обработки данных.

Использованное ПО

Все системы запущены в корпоративном ЦОД под управлением системы Kubernetes.
Для контейнирования используются технологии Docker.
Управление запущенными системами осуществляется через Rancher.
Контроль доступа внутри защищенного контура осуществляется при помощи Keycloak.
Все большие данных хранятся в Hadoop. Доступ к ним осуществляется при помощи
Spark и Pandas.
Справочники и вспомогательная информация находится в SAP.
Сбор данных осуществляется при помощи AirFlow.
Обработка данных выполняется на Python и управляется с помощью Kafka.
Все системы выполняются на десятках высокопроизводительных серверов.

Сложность реализации

Сложность реализации обусловлена большим количеством данных, необходимых для обработки.

Объём данных: тысячи терабайт. Для обработки такого масштаба данных используются технологии машинного обучения, что устанавливает высокие требования к итоговой системе и мощности используемого оборудования.

В ходе реализации проекта создана IT-система, состоящая из комплекса решений на основе технологий Hadoop, Spark, Kafka, Docker. Все модули запускаются в корпоративном центре обработки данных под управлением системы Kubernetes. Используются технологии виртуализации для обеспечения масштабируемости и отказоустойчивости системы, работающей на нескольких десятках физических серверов.

Описание проекта

В рамках проекта реализована автоматическая система измерения результатов экспериментов на основе метода АБ-тестирования. Уникальность системы в том, что эксперименты проводятся на оффлайн-объектах: в физических магазинах и внутри бизнес-процессов X5.

Система оперирует всем масштабом данных из корпоративного хранилища X5. Речь идёт о десятках миллионов записей ежедневно. Объём используемой информации: тысячи терабайт. Таким образом, компания использует big data для реализации data driven подхода: принятия решений на основе данных.

Система АБ-тестирования помогает принимать решения на основе «сырых» данных: информация о покупках каждого покупателя систематизируется, анализируется и используется для формулирования выводов относительно каждой из сотен выдвигаемых ежегодно гипотез.

География проекта

Проект используется для всей географии магазинов X5 на территории РФ.

Федеральные округа:

Центральный
Приволжский
Северо-ЗападныйУральский
Южный
Сибирский
Северо-Кавказский