Gamesport: сокращение расходов на администрирование и запуск цифровых продуктов с помощью Yandex Cloud

Заказчик:
Gamesport
Руководитель проекта со стороны заказчика
Поставщик
Yandex Cloud
Год завершения проекта
2022
Сроки выполнения проекта
Январь, 2022 - Ноябрь, 2022
Масштаб проекта
2000000 абонентов
Цели

Задачей проекта было получить возможность масштабирования без увеличения штата. GameSport предоставляет киберспортивной аудитории, профессиональным игрокам и тренерам цифровую платформу расширенной аналитики по соответствующим соревнованиям. В штате GameSport — более 50 экспертов в области аналитики данных. Компания имеет лицензию СМИ и активно развивает собственный киберспортивный портал, организует состязания и турниры.

Результаты
GameSport развернул новую версию портала gamesport.com в Yandex Cloud во второй половине 2022 года. Переход на платформу позволил на 16% сократить расходы на администрирование и быстрее запустить обновлённый портал за счёт того, что не нужно было поднимать и настраивать свои серверы. После переноса портала в Yandex Cloud упростился процесс администрирования сервисов, появилась возможность мгновенно увеличивать ресурсы по мере необходимости (размеры дисков, объём памяти и прочее). В среднем скорость процессов увеличилась в 1,5 раза, цифровые продукты теперь можно запускать буквально в несколько кликов. В новой версии портала GameSport расширил использование современных технологий: подключил CDN и репликацию баз данных. В сотрудничестве с Yandex Cloud GameSport развивает свой портал с полезной информацией для пользователей, которые интересуются киберспортом, и стремится в перспективе сделать ресурс мирового масштаба.

Сервисы Yandex Cloud позволяют GameSport выстраивать процессы сбора, хранения и обработки аналитики real‑time, которая используется для непрерывного развития портала.

Уникальность проекта

Специфика деятельности GameSport заключается в непрерывном анализе Big Data. Компания делает записи спортивных мероприятий и игровых сессий, а также собирает данные о чемпионатах и командах из внешних источников. GameSport анализирует метрики команд, игроков и их особенности, выявляет паттерны. Данные анализируются вручную, а также с помощью технологий машинного обучения, чтобы формировать автоматические ответы для отчётов.

Для обработки данных со значимыми игровыми показателями GameSport использует собственный сервис. С внешними источниками компания работает по‑разному, так как одни сайты предоставляют данные по API, другие — нет. Во втором случае компания забирает разрозненные данные в исходном виде, например xml‑файлами, и далее парсит. Получается «воронка» из большого количества источников. Так компания насыщает свою базу данных, с которой работает в дальнейшем. В основном данные собираются и анализируются в real‑time, за исключением ситуаций, когда меняются форматы в источниках — в этом случае требуется исправлять парсеры.

Сервисы Yandex Cloud позволяют GameSport выстраивать процессы сбора, хранения и обработки аналитики real‑time, которая используется, в частности, для непрерывного развития портала.

Использованное ПО

Yandex Data Transfer
Yandex Managed Service for Сlickhouse
Yandex Managed Service for MySQL
Yandex Compute Cloud
Yandex Managed Service for Redis
Yandex Cloud CDN
Yandex Certificate Manager
Yandex Cloud DNS
Yandex Monitoring
Yandex Virtual Private Cloud
Yandex Application Load Balancer

Сложность реализации

GameSport размещала продукты на своих физических серверах, но по мере развития бизнеса стало понятно, что использование исключительно собственных мощностей — это слабое место, из‑за которого сдерживается масштабирование портала. В один момент GameSport столкнулся с тем, что возможности физических серверов были исчерпаны. Компания решила ускорить работу и увеличить стабильность платформы. Так GameSport решил перенести портал в облако, чтобы масштабировать ресурсы без ограничений, расширения экспертизы или численности своей команды.

Миграция осуществлялась с помощью инструмента Yandex Data Transfer, который поддерживает несколько сценариев переноса базы ClickHouse со своего сервера в Yandex Managed Service for ClickHouse. У Yandex Managed Service for MySQL® отличалась структура, поэтому требовалось разрабатывать собственные трансферы под каждую таблицу. Использование трансферов позволяет сохранить рабочее состояние источника и минимизировать время простоя использующих его приложений. Перенос данных и разработка новой версии портала начались параллельно. Миграция всей инфраструктуры GameSport заняла не больше недели.

Описание проекта

Платформа Yandex Cloud предоставила GameSport набор управляемых сервисов, современные облачные технологии для решения задач и возможность удобного управления доступом к ресурсам. В 2022 году партнёры перенесли в Yandex Cloud имеющуюся инфраструктуру и данные, включая старую версию портала, и создали новую версию продукта. 

Миграция осуществлялась с помощью инструмента Yandex Data Transfer, который поддерживает несколько сценариев переноса базы ClickHouse со своего сервера в Yandex Managed Service for ClickHouse. У Yandex Managed Service for MySQL® отличалась структура, поэтому требовалось разрабатывать собственные трансферы под каждую таблицу. Использование трансферов позволяет сохранить рабочее состояние источника и минимизировать время простоя использующих его приложений. Перенос данных и разработка новой версии портала начались параллельно. Миграция всей инфраструктуры GameSport заняла не больше недели. Готовая новая версия портала была развёрнута в Yandex Cloud.

В основе ИТ‑архитектуры GameSport — Laravel, бесплатный PHP‑фреймворк с открытым исходным кодом. Сейчас портал представляет собой монолитное приложение с подключёнными сервисами платформы данных Yandex Managed Service for ClickHouse и Yandex Managed Service for MySQL®. Кроме того, компания использует сторонние сервисы для агрегации и конвертации данных:

· Сервис Yandex Compute Cloud предоставляет компании масштабируемые вычислительные мощности для размещения, тестирования и прототипирования проектов. Используется одна крупная виртуальная машина, которая позволяет обновлять приложения, не отклоняя ни одного запроса и без простоя. Также есть ещё одна виртуальная машина для сопутствующих сервисов, таких как поиск, сокеты и прочие.

· С помощью сервисов Yandex Managed Service for MySQL® и Yandex Managed Service for ClickHouse GameSport управляет кластерами необходимых СУБД в облаке, разворачивая готовый к работе кластер за несколько минут. Сейчас в Yandex Managed Service for ClickHouse собраны исторические данные по киберспортивным чемпионатам мира за четыре года. Это в основном такие дисциплины, как Counter‑Strike, Dota 2 и другие популярные компьютерные игры. GameSport берёт данные из внешних источников, и они сразу после постобработки попадают в ClickHouse. Также сервис используется для записи выводов из аналитики на основе ML (модели нейронной сети развернуты на внешнем сервере). Служебные данные по аккаунтам и доступам, новости, разделы портала и часть исторических данных хранятся в Yandex Managed Service for MySQL®.

· В Yandex Managed Service for Redis™ хранится горячий кеш. Сервис используется, чтобы снизить нагрузку на Yandex Managed Service for MySQL®.

· Сервис Yandex Cloud CDN снимает нагрузку с сайта GameSport по статическим данным. Из‑за того, что не происходит увеличение нагрузки на продакшн виртуальной машины, нагрузка на отдачу статистики перекладывается на Yandex Cloud CDN. Раньше компания использовала сервис CDN другого производителя, но перешла на Yandex Cloud CDN по причине множества точек присутствия провайдера в России.

· Репликацию базы данных GameSport начал использовать только с переходом на платформу Yandex Cloud. Появилось резервирование с триггером, с размещением копий в трёх зонах. Резервирование компания получила автоматически при переходе на платформу, и это позволило проекту стать отказоустойчивее за счёт кластеризации базы данных MySQL.

· С помощью Yandex Certificate Manager компания использует TLS‑сертификаты в интегрированных сервисах Yandex Cloud. При этом не требуется загрузка на сервер и можно сохранять их для самостоятельного использования.

· Yandex Cloud DNS оптимизирует маршрутизацию DNS‑запросов GameSport, обеспечивает стабильный доступ с минимальной задержкой отклика и быстрое прорастание записей.

· Сервис Yandex Monitoring ускоряет для GameSport просмотр данных мониторинга, Yandex Virtual Private Cloud служит для управления облачными сетями и связи облачных ресурсов между собой и с интернетом, а Yandex Application Load Balancer гибко распределяет трафик и запросы по бэкендам сетевых приложений, а также обрабатывает TLS‑трафик.

За время работы над проектом команда GameSport приобрела новые компетенции, связанные с облачным развёртыванием, но при этом не потребовалось увеличение штата, и удалось оптимизировать работу DevOps‑специалистов и системных администраторов. Также получилось избежать одномоментных затрат, как в случае с развёртыванием на физических серверах.

География проекта
Россия
Коментарии: 2

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Александр Гудов
    Рейтинг: 49
    АО ОКБ
    Head of Data & Analytics Platform
    16.11.2023 07:42

    Хороший проект. Для обработки gamesport данных идеально подходят облачные провайдеры. И яндекс один из лучших вариантов, единственное я бы не заострял внимание именно на яндексе, это не более чем правильно выбранный инструмент. Ещё посмотрите на ml сервисы от яндекса , YTsaurus (долговременное хранилище на базе mapreduce) и Sprut (elt\etl платформа для написание пайплайнов доставки данных сразу в несколько типов хранилищ).

  • Максим Часовиков
    Рейтинг: 4767
    РАНХиГС
    Директор Проектов проектного офиса ректора
    04.01.2024 23:25

    Добрый день, обычно под БигДатой подразумевается работа с разнородными неструктурированными, часто нетекстовыми и данными из разных источников и их обогащение. С какими источниками данных, прежде всего нетекстовых, осуществлялась работа в этом проекте?

Год
Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.