Data Sharing Platform на базе платформы управления данными TData

Какие ключевые задачи решает ваш проект?

В ежедневной деятельности группы компаний существует большое количество сквозных процессов, которые требуют обмена информацией, зачастую обмен данными реализуется разрозненно. И общем итоге практически невозможно выявить все эти разрозненные потоки передачи данных, обеспечить их качество, релевантность и актуальность, эффективно этими потоками управлять. Мы решили построить платформу обмена данными, которая сможет решать все эти трудности. По сути, наша Data Sharing Platform - это эффективный метод обмена данными между разными командами внутри группы компаний, позволяющий в короткое время организовать обмен данными с соблюдением всех требований. Контур обмена данными полностью отвечает требованиям архитектуры, технологического стека и, что особенно важно на сегодняшний день, требованиям информационной безопасности. Подразумевает повторное использование уже реализованных служб обмена данными при подключении нового получателя данных.

Принцип железной дороги – проложили один раз, а составы курсируют постоянно. Не нужно каждый раз заново прокладывать дорогу.

Что было самым сложным в реализации проекта?

Естественно, при реализации проектов с вовлечением многих участников одной из сложнейших задач является обеспечение эффективного взаимодействия всех сторон и удовлетворения их интересов.

Помимо этого, при реализации проекта мы ставили во главу угла вопросы юридической и информационной безопасности. Подписанные всеми ответственными сторонами NDA и настроенный криптоканал – именно их согласование и реализация были фокусом первой части проекта и заняли большую часть времени. Это крайне сложная задача – дать простор для развития бизнеса и при этом оставаться в абсолютном соответствии со строгими правыми нормами и вопросами информационной безопасности. Конечно, команда во время согласования не сидела сложа руки, коллеги разрабатывали прототипы, делали тестовые обмены синтетическими данными и готовились к моменту, когда все формальные этапы будут определены и можно будет уже приступать к полноценной реализации.

Каких результатов удалось достичь?

В промышленном режиме уже работают несколько сервисов передачи данных. Для обработки данных используется продукт RT.Streaming, обрабатывающий потоковые данные в режиме реального времени на базе модуля «Kafka», и в «пакетном» ETL-режиме на базе модуля «NiFi». В качестве самой базы данных используются импортозамещенные решения, в частности, СУБД Pangolin. Всё это позволяет контуру соответствовать требованиям по импортозамещению в части ПО. Также идет активное развитие, воспользоваться уже отработанным и согласованным механизмом передачи данных гораздо быстрее и удобнее, чем прорабатывать и согласовывать новое решение, поэтому мы ожидаем активного развития. Несколько десятков атрибутов и сущностей – среди них заявки, клиенты, продажи и оборудование –  уже участвуют в ежедневном обмене данными. Для примера, по клиентам количество записей превышает 200 000 ежемесячно и показывает устойчивый экспоненциальный рост, но при этом скорость загрузки не превышает 10 минут. Идет подключение и настройка систем контроля качества данных, здесь очень своевременным оказался проект Data Quality Firewall, который мы стартовали год назад. Параллельно с созданием сервисов передачи данных мы развиваем единый каталог сервисов на базе продукта RT.DataGovernance, где любой пользователь может получить описание всех реализованных дата-сервисов, а также заказать свой.

Планируете ли развивать проект дальше?

Да, конечно. У нас есть как согласованный план действий на 2-3 квартала, в рамках которого будут реализованы еще несколько дата-сервисов, так и стратегическое видение развития платформы на следующие 2-3 года. В частности, планируется значительное расширение списка ДЗО, подключаемых к платформе обмена данными. Также предстоит оптимизация самого процесса подключения, чтобы ускорить прохождения всех этапов интеграции. Это позволит существенно сократить TTM для заказчика данных. Также важно следовать актуальным трендам в сфере отечественного ИТ-направления и оценивать их для возможности применения в нашем проекте. Это применение новых технологий загрузки данных, ввод в эксплуатацию новых модулей платформы TData.

Чтобы вы посоветовали коллегам, внедряющим аналогичные решения?

Начинайте с самого сложного – с дорожной карты проекта. Продумать всё на начальном этапе практически невозможно, но четкое описание шагов, рисков и сроков в начале помогут избежать потери драгоценного времени в дальнейшем. Также важны этапы предсогласований, обеспечения безопасности и эффективного взаимодействия.  Убедитесь, что никого не оставили за бортом согласований и уточнений.  Запланируйте в календаре проблемы! Что-то в любом случае пойдет не по плану, заложите на это время и ресурсы. Не стремитесь к идеалу – пусть лучше вы успешно обменяетесь 50-ью атрибутами данных, чем не обменяетесь идеальной сотней атрибутов. Не забывайте о качестве данных. Помните, что культура работы с данными и коммуникации очень важны в успехе проекта.