Фабрика данных в АО «Народный банк Казахстана» («Халык Банк»)

Заказчик
Halyk Bank
ИТ-поставщик
DIS Group
Год завершения проекта
2021
Сроки выполнения проекта
Январь, 2021 - Ноябрь, 2021
Масштаб проекта
184560 человеко-часов
Цели

1. Стратегическая цель – увеличение комиссионного дохода Банка за счет персонализации предложений и стимулирования транзакционной активности.

2. Создание единого пространства и инструментов аналитики и ИИ в рамках концепции Data Governance для всего Банка.

3. Создание гибкой и масштабируемой платформы данных для запуска и тестирования бизнес-гипотез относительно клиентов Банка.

4. Широкое внедрение ИИ-инструментов с целью улучшения клиентского опыта: реализация систем антифрода, AML, интеллектуального контакт-центра и других инициатив.

Уникальность проекта

Проект, реализованный на базе технологии Big Data, продемонстрировал четкие финансовые результаты, которые обеспечили доверие к ней со стороны бизнеса и позволили увеличить процентные доходы Банка уже через три месяца после запуска первых коммуникаций с клиентами на основе фабрики данных.

В ходе проекта создана новая платформа данных, выстроены заново процессы руководства данными (Data Governance) и обеспечения качества данных (Data Quality), назначены роли, охвачены все ключевые корпоративные источники и домены данных Банка. Полностью изменен подход к сбору корпоративных данных, проработаны бизнес-гипотезы, построены модели искусственного интеллекта (ИИ) для увеличения транзакционной активности, улучшения и персонализации клиентского опыта, снижения оттока клиентов. Достигнуты полная вовлеченность бизнеса в задачи ИИ и использование инструментов Big Data на протяжении всего цикла взаимодействия Банка с клиентом. Участники проекта смогли достичь синергии технологических и бизнес-задач.

Проект решает задачи импортозамещения
Нет
Использованное ПО

Основу фабрики данных составляет гетерогенное хранилище данных на базе решения Arenadata Hadoop и СУБД Oracle. Оно интегрировано с 14 внутренними источниками данных и 20 внешними с помощью решений Informatica Data Engineering Integration (DEI), Power Center и Apache Kafka. Проверка качества данных осуществляется с использованием Informatica Data Quality. Все реализуемые в хранилище расчетные показатели описаны в системе Informatica Axon, которая посредством инструментария Informatica Enterprise Data Catalog (EDC) определяет происхождение данных (data lineage) из 14 внутренних источников и их метаданные.

Вокруг хранилища образован слой, позволяющий с помощью имеющихся в EDC модулей отслеживания измененных данных обеспечивать в режиме реального времени загрузку данных о всех карточных транзакциях и начислениях бонусов в системе лояльности. Для обработки таких данных применяются инструменты Clickhouse, Scylla DB и Elastic Search. Для развертывания систем поддержки принятия решений создано частное облако, в котором используются технологии HashiCorp, Vault и Open Stack, над которыми располагаются системы оркестрации контейнеров Kubernetes и NOMAD.

Управление контрактной политикой и коммуникациями с клиентами осуществляется с применением решений Unica, Journey и Optimize компании HCL. Принятие решений в реальном времени производится с использованием IBM Streams. Доступ бизнес-пользователей к данным из хранилища предоставляется с помощью Qlick BI. Для принятия решений производится также загрузка данных в реальном времени из BPM-системы Camunda, отслеживание измененных данных в ней обеспечивается посредством инструментария с открытым кодом Debezium.

Сложность реализации

Проект «Фабрика данных» стал самым сложным инфраструктурным проектом Банка за последние 10 лет. Были полностью пересмотрены методы интеграции с корпоративными источниками данных, выстроены процессы Data Governance. Полностью обновлена инфраструктура хранилища данных (прежнее хранилище было внедрено 12 лет назад).

Пересмотрены процессы работы с клиентами по перекрестным продажам во всех бизнес-направлениях Банка – как в розничных, и так в SME. Автоматизированы лидогенерация, коммуникации с клиентами, контактная политика.

Описание проекта
В ходе проекта совместно работали 12 команд общей численностью 90 сотрудников. Их усилиями построено гетерогенное хранилище, внедрены 15 компонентов сбора и обработки данных (ETL), проработаны и внедрены 3 ключевые бизнес-инициативы, подключены 4 канала коммуникации, автоматизированы процессы Data Science, разработаны модели искусственного интеллекта, автоматизирована управленческая отчетность, подключено 20 внешних источников для обогащения информации, назначены 28 дата-стюартов на 60 доменов данных.

Реализован контур принятия решений в реальном времени. Бизнес-глоссарий ведется по всем расчетным показателям нового хранилища. В фабрику данных стекаются данные из внутренних и внешних источников. На их основе принимаются решения о различных действиях. Часть решений принимается в режиме реального времени, в том числе расчет аналитического профиля клиента. Для других решений производится ежедневная выгрузка из прогнозной модели данных о коммуникациях с клиентами: перекрестных продажах, апсейлу, удержании клиентов, их ремотивации и пр. Эти данные дополняют персональные истории взаимодействия в мобильных банковских приложениях: на их основе строятся персональные всплывающие окна, персональные push-уведомления и бонусы, которые начисляются по результатам анализа поведенческих характеристик и предпочтений клиента – для этого применяются алгоритмы машинного обучения.
Основной принцип, который при этом реализуется, заключается в том, чтобы взаимодействовать с клиентами мягко, не слишком назойливо, но в то же время с взаимной выгодой для них и для Банка.

Проект охватывает не только розничный бизнес, но и корпоративный, и SME.

Благодаря проекту были автоматизированы каналы взаимодействия с клиентами – как с физическими, так и с юридическими лицами. Кроме того, в качестве еще одного мощного канала взаимодействия с клиентами стали использоваться банкоматы.


География проекта
Казахстан
Коментарии: 70

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • 21.12.2021 14:17

    Добрый день, построены модели, которые на основе данных о клиентах прогнозируют потенциальный комиссионный доход по клиенту, сегментируют и формируют рекомендации с персональными бонусами, выбирают оптимальный канал, время коммуникации. Это позволило нам увеличить между контрольной выборкой и пилотной uplift от 5% до 9% только на стадии запуска модели. С учетом, что модели с каждым запуском будут обучаться, мы ждем эффект в два раза выше. Каналы - push, sms, персональные stories, баннеры, popup сообщения в приложении, телемаркетинг и ряд других каналов. Каждому клиенту канал подбирается индивидуально. Эффективность у нас бывает двух видов - с учетом расходов канала, чистая конверсия на канале. Дорогие каналы тоже эффективны, но т.к. у нас цель рост комиссионного дохода, то мы расходы тоже учитываем сильно на каналы и соблюдаем баланс по соблюдению контактной политики, эффективности канала непосредственно для клиента и др. метрики.

    • Александр Маркин
      Рейтинг: 1012
      ПАО "Банк Кузнецкий"
      Начальник отдела сопровождения банковских и информационных технологий
      10.01.2022 15:07

      «Стратегическая цель – увеличение Банка за счет персонализации предложений и стимулирования транзакционной активности» - укажите подходы, механизмы определения персонального предложения? На сколько увеличился комиссионный доход за счет персонализации? Укажите каналы доведения персональной информации и их результативность?

  • Александр Маркин
    Рейтинг: 1012
    ПАО "Банк Кузнецкий"
    Начальник отдела сопровождения банковских и информационных технологий
    21.12.2021 16:25

    Спасибо!

  • Айгуль Темралиева
    АО Народный Банк Казахстана
    Старший специалист
    22.12.2021 11:05

    Здравствуйте, какой плюс для простых работников? Удачи вам в голосовании!

    • Айгуль
      27.12.2021 05:55

      Здравствуйте, спасибо за комментарий.
      1. Работники смогут без ожидания со стороны IT научиться работать через простые BI системы с данными и смотреть бизнес показатели очень быстро.
      2. Понимать своего клиента, которого обслуживают через онлайн каналы.
      3. Благодаря инструментам DataGovernance они смогут видеть какие данные есть в каких системах, как они загружаются в хранилище, как с ними работать. Самое главное - какие данные нужны и приоритетны для Банка, к каким данным надо подходить качественно к заполнению.
      4. И последнее, но не менее значимое - AI постепенно проникнет и начнет оптимизировать процессы. Поможет, например, проверять не все события на мошенничество, а только прогнозированные. Операционная деятельность должна очень сильно упроститься и фокус на реальных задачах.

  • Аллан Пиренов
    Рейтинг: 186
    AllanKo
    Директор по ИТ
    22.12.2021 14:05

    Подскажите, пожалуйста, пришлось ли вносить какие-то изменения в структуру компании, чтобы реализовать настолько масштабный проект? И если да, то какие изменения в общей структуре организации пришлось провести?

    • Аллан
      27.12.2021 07:11

      Добрый день, спасибо за комментарий.
      Структуру пришлось изменить.
      1. Организационно были созданы офисы Chief Data Office и Chief Data Science. Значительно расширены команды data инженеров. Появились позиции Архитекторов всего контура, архитекторов хранилища, TeamLead по направлениям.
      2. Были расширены команды бизнеса и привлечены менеджеры и руководители с опытом ведения проектов такого плана
      3. Были сформированы трайбы, в которые вошли дата инженеры, бизнеса, data science специалисты по принципу матричного управления. Это позволило Банку быстро и продуктивно реализовывать бизнес-кейсы.

      • Аллан Пиренов
        Рейтинг: 186
        AllanKo
        Директор по ИТ
        09.01.2022 12:04

        Большое спасибо за ответ. Можете чуть больше рассказать о том, как именно происходили изменения в структуре? Например, вы пишете, что были расширены команды бизнеса и привлечены менеджеры. Означает ли это, что были созданы новые рабочие места? Или речь идёт о простом перераспределении функционала между уже имеющимися сотрудниками?

        • Аллан Пиренов Аллан
          Рейтинг: 186
          AllanKo
          Директор по ИТ
          09.01.2022 12:07

          И в дополнение к предыдущему вопросу: насколько болезненным (или наоборот, лёгким) было вовлечение структур CDO в существующие бизнес-процессы банка? Как удалось решить данный вопрос, сколько времени на это потребовалось и какие издержки за собой повлекло?

          • Аллан
            09.01.2022 22:00

            Процесс вовлечения CDO, естественно, не является легким. Меняются все внутренние процессы, связанные с данными. Процесс этот идёт до сих пор. Он решается как на уровне руководства банка, так и путём привлечения бизнес-подразделений на промежуточных этапах при получении результатов, показывающих улучшение сроков работы с данными.

        • Аллан
          09.01.2022 21:59

          Аллан, нет, конечно, речь не о простом перераспределении функционала. Как я уже говорила, были расширены команды data инженеров и бизнеса, появились новые позиции. Все эти преобразования потребовали привлечения новых сотрудников и, конечно, создания новых рабочих мест. В общей сложности в команду набрали порядка 150 человек.

  • 23.12.2021 07:48

    Добрый день! Развитие клиентского опыта и повышение операционной эффективности компании определенно важные направления для Цифровой трансформации. С какими проблемами вы столкнулись при реализации проекта?

    • 27.12.2021 07:21

      Добрый день, спасибо за комментарий.
      Мы столкнулись со следующими проблемами
      1. Очень ограниченное количество специалистов на рынке по работе с технологией hadoop. Недостаточно либо очень дорогие ресурсы по data science направлению
      2. В очень короткие сроки и внепланово нам пришлось менять интеграцию с core системами, чтобы можно было гибко и быстро без доработок запускать разные бизнес-гипотезы. Гибкость настройки продуктов(продуктовая фабрика) - важная составляющая Фабрики данных
      3. Технологическая проблема - мы внедрили за короткий срок 30 крупных компонент в инфраструктуру Банка и проблемы были с тем, что разные версии одних компонент не могли работать с версиями тех, что уже развернули и внедрили. Нам где то пришлось переразворачивать решения.
      4. По дорожной карте сложность внедрения одних компонент была недооценена, т.к. понадобилось гораздо больше трудозатрат. Однако, были и компоненты, которые на данном этапе нам не понадобились и мы проще решили вопросы, хотя было потрачено время и ресурсы на пилотирование.

  • Максим Часовиков
    Рейтинг: 4767
    РАНХиГС
    Директор Проектов проектного офиса ректора
    23.12.2021 13:34

    Добрый день, рады приветствовать участников конкурса из-за рубежа! Так же впечатляют трудозатраты по проекту. Это только работа команды разработки? Или вообще всех включенных в такой проект?

    • Максим
      27.12.2021 07:23

      Добрый день, спасибо за комментарий.
      Указана только команда разработки со стороны Банка и интегратора. Команду со стороны бизнеса очень сложно было посчитать, т.к. изменения коснулись огромных подразделений со стороны бизнеса - перестроены были процессы у менеджеров отделений, у кассиров, у Телемаркетинга и т.д.

      • Максим Часовиков
        Рейтинг: 4767
        РАНХиГС
        Директор Проектов проектного офиса ректора
        10.01.2022 06:43

        Спасибо большое за ответ. Довольно большая команда у Вас работала. А как вы управляли коммуникаций в рамках этого проекта? Была ли какая - либо специфика именно в рамках этого проекта, или все было достаточно стандартно? Хотелось ли бы Вам как - либо улучшить именно управление коммуникациями?

  • Надежда Солдатенко
    Рейтинг: 20
    ООО Дата Фрейм
    Управляющий директор
    23.12.2021 18:31

    Прекрасный проект! Так держать!

    • Надежда
      27.12.2021 07:24

      Добрый день, спасибо Вам за комментарий! С Наступающим Новым годом и мы вам желаем большой удачи, амбиций и лучших решений в ваших проектах!

  • Аллан Пиренов
    Рейтинг: 186
    AllanKo
    Директор по ИТ
    09.01.2022 11:18

    Гульзахида, большое спасибо за ответ! Ещё есть такой вопрос: насколько понятно из описания, в архитектуре хранилища был применен подход построения гетерогенного хранения информации. Пожалуйста, поясните, с какой целью это было сделано? Используется ли слой c данными, размещенный на инструменте Hadoop?

    • Аллан
      09.01.2022 17:31

      Данная архитектура отлично масштабируется, обеспечивает быстрый доступ к разнородным данным, и является оптимальной для построения умного озера данных, с которым в последующем смогут комфортно и эффективно работать Data Science.

  • Аллан Пиренов
    Рейтинг: 186
    AllanKo
    Директор по ИТ
    09.01.2022 11:21

    И ещё несколько моментов, вероятно, каждый из них лучше отразить отдельным пунктом.
    1. Расскажите подробнее, какую именно модель проектирования ХД использовали при реализации? Есть какие-то советы, рекомендации в этой части? Интересуют возможные тонкости и подводные камни.

    • Аллан
      09.01.2022 17:31

      При создании гетерогенного хранилища данных в части DDS-слоя мы использовали гибридный подход на основе Data Vault. Сам DDS-слой на данный момент размещен на СУБД Oracle. В дальнейшем планируем использовать аналитическую СУБД с открытым исходным кодом Greenplum, построенную на MPP-системе.
      Эта методология хорошо интегрируется с Agile подходом, который мы использовали при управлении проектом. Это позволило нам создать гибкое и расширяемое ядро хранилища данных.
      Стоит отметить, что данный подход проектирования требует хорошей методологической проработки, требователен к ресурсам разработки и поддержки. Без инструментов Data Governance, Data Management, Data Quality, автоматизации генерации объектов и эффективных ETL/ELT-процессов, вероятность успешности очень мала.
      Одними из ключевых функциональностей являются определение происхождения данных (Data Lineage) и настроенные правила качества данных, которые помогают находить ошибки в данных, места, где произошли изменения, оценить и управлять качеством данных. В сложном системном ландшафте (несколько десятков систем-источников) и Big Data проектах, гибкой и динамичной модели данных – это огромная помощь не только для команды инженеров, но и для бизнес-пользователей.
      В том числе это обеспечивается и для кейсов в режиме реального времени, например, отслеживание измененных данных и загрузка данных карточных транзакций, начислениях бонусов в системе лояльности.

  • Аллан Пиренов
    Рейтинг: 186
    AllanKo
    Директор по ИТ
    09.01.2022 11:22

    2. Второй момент, который интересует, - как принималось решение о выборе, во-первых, самих продуктов для внедрения, а во-вторых, интегратора? Был организован открытый тендер? Если да, то расскажите, пожалуйста, об условиях участия.

    • Аллан
      09.01.2022 22:01

      Был организован открытый конкурс по выбору решения и интегратора. Основными критериями выбора являлись соответствие поставленным требованиям Банка по созданию фабрики данных, а также наличие проверенной опытной команды, которая способна в короткие сроки выполнить поставленные задачи.

  • Аллан Пиренов
    Рейтинг: 186
    AllanKo
    Директор по ИТ
    09.01.2022 11:24

    3. Ну и, наконец, извечный вопрос - про возможную альтернативу в виде собственной разработки. Банки сейчас активно используют собственные разработки (правда, в основном это касается антифрод-решений). Вы рассматривали вариант самописного решения для данного проекта? Если да, то почему выбор был сделан в пользу промышленной платформы?

    • Таиса Дасаева Аллан
      Рейтинг: 284
      ООО КРАСНОГОРСКИЙ МПК
      ИТ директор
      09.01.2022 11:31

      Присоединяюсь к вопросу Аллана, тоже очень интересует этот момент. Кроме того, сейчас очень много решений с открытым исходным кодом. Не могли бы вы пояснить, почему выбор был сделан в пользу проприетарного ПО, например, в части управления данными? Заранее большое спасибо!

      • Таиса
        09.01.2022 17:32

        Создание единого пространства и инструментов аналитики со сквозными бизнес-процессами Data Governance требует обеспечение совместимости и интеграции множества систем и компонентов. В условиях конкуренции и жестких требований к выводу банковских продуктов на рынок, важную роль играет эффективность, надежность, скорость устранения ошибок в ПО, поставка новой функциональности, понятность стратегии развития ПО и т.д. Отметим, что для таких проектов лучше иметь оперативную поддержку со стороны разработчика ПО, а также актуальную техническую документацию по продукту. Огромным плюсом является наличие обучения и передачи знаний со стороны вендора. Это лишь малая часть требований для систем такого уровня сложности.

        Огромную роль играют требования к ИБ. Прямо сейчас мы можем оценить и увидеть, насколько быстро вендоры ПО реагируют на устранение уязвимости в Log4j.

        Поэтому, даже если взять отдельные решения на базе открытого исходного кода, например, мы использовали Arenadata Hadoop – дистрибутив на базе Apache Hadoop для корпоративного использования при построении ядра хранилища, чтобы удовлетворить нашим требованиям.

        В части управления информационной средой и потоками данных на основе концепции Data Governance мы ориентировались на платформенные решения, которые удовлетворяли бы требованиям описанными выше. Помимо собственных критериев оценки, мы учитывали критерии и оценки Gartner, при анализе квадрата Лидеров. Поэтому для этого класса решений мы сделали выбор в пользу лидера проприетарного ПО данного направления.

    • Аллан
      09.01.2022 22:01

      В Банке используются различные программные решения для реализации задач. В данном случае была выбрана промышленная платформа, так как задача построения фабрики данных является первоочередной и крайне важной для всех видов бизнеса Банка. По этой причине Банк ориентировался на стабильность и проверенность платформы, чтобы не тратить время на эксперименты при разработке, а также время и ресурсы на техническую поддержку.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    09.01.2022 11:29

    Добрый день! В проектах подобного рода одну из ключевых ролей играет вовлеченность бизнес-заказчика в процесс реализации инициатив. Удалось ли вам в данном случае добиться участия бизнес-заказчика? Если да, то как именно?

    • Таиса
      09.01.2022 17:33

      Добрый день, спасибо за вопрос! Важно наладить коммуникацию с бизнесом еще на этапе идеи проекта, заинтересовать идеей на примере реальных кейсов и бизнес-выгод. В нашем банке с этим проблем не возникло, задача цифровой трансформации уже давно висела в воздухе, поэтому коллеги из бизнеса активно подхватили идею.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    09.01.2022 23:14

    Гульзахида, спасибо большое за Ваши ответы! Комментарии под проектом превращаются в дискуссионный клуб) Скажите, пожалуйста, а каким образом запланирована программа работы с данными, в рамках которой вы внедряете фабрику данных?

    • Таиса
      09.01.2022 23:18

      Таиса, да, действительно) КОнструктивная дискуссия - это всегда хорошо. Программа масштабная и рассчитана на несколько этапов. Помимо классических отчётов для управленческой отчётности, предполагается реализация обучаемых бизнес-моделей, а также использование данных для real-time-маркетинга.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    09.01.2022 23:14

    Выше уже обсуждали преобразования в структуре банка и создание новых подразделений. Но из ответов не совсем понятно: какие именно подразделения являются основными и второстепенными потребителями результатов проекта?

    • Таиса
      09.01.2022 23:17

      Наш проект охватывает, кажется, практически все подразделения банка. Это связано с тем, что данные необходимы как бизнесу, так и комплаенс-подразделениям, а наряду с ними ещё и блоку информационной безопасности.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    09.01.2022 23:15

    И, если можно, хотелось бы больше узнать о том, кто является бизнес-спонсором проекта. Каким образом бизнес-спонсор влияет на ход проекта и его этапы? Насколько он вовлечен в разработку проекта, его реализацию и доработки?

    • Таиса
      09.01.2022 23:27

      Бизнес-спонсор очень плотно участвует в процессе реализации проекта и при принятии ключевых решений. Также без его участия не обходится приёмка функционала и оценка бизнес-эффектов. Этот человек помогает нам держать заданный курс в начале проекта и корректировать его при изменениях потребностей рынка.

  • Аллан Пиренов
    Рейтинг: 186
    AllanKo
    Директор по ИТ
    09.01.2022 23:22

    Можно ли уже начинать подводить какие-то итоги по проекту, хотя бы промежуточные? Насколько полученные результаты от уже завершенных этапов соответствуют вашим ожиданиям и изначально поставленным KPI?

    • Аллан
      09.01.2022 23:27

      Да, конечно. Именно анализ промежуточных итогов помогает понять, в том ли направлении мы двигаемся и скорректировать что-то при необходимости. Не буду сейчас приводить точные цифры, но большой фокус, особенно у розничного бизнеса, был на поднятие транзакционной активности. Попытались сделать фокус на большом количестве коммуникаций, но такое решение не даёт результатов в таких масштабах, как ожидалось. Вывод был такой, что в чистом виде такая коммуникация не работает. В кредитном бизнесе ситуация другая, там мы перевыполнили план с точки зрения коммуникаций.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    09.01.2022 23:30

    Мне кажется, проекты такого масштаба не просто помогают бизнесу – во многом меняют его. В том числе и потому, что становятся видны издержки и проблемы, ранее не очевидные. В связи с этим вопрос: изменились ли подходы банка или его подразделений к ведению бизнеса после внедрения проекта или его этапов?

  • 09.01.2022 23:31

    Да, при внедрении платформы данных сократилось время принятия решения по бизнес-значимым вопросам, а также существенно расширился спектр данных, которые используются при принятии решений. Дополнительно удалось обеспечить прозрачность формирования Бизнес-показателей и поднять уровень доверия к ним.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    09.01.2022 23:31

    Если всё-таки вернуться к вопросу о взаимодействии с бизнес-подразделениями. Какую роль они играют в формировании подходов к работе с данными? Можно осветить этот момент подробнее? Интересен ваш опыт и формат кейсов.

    • Таиса
      09.01.2022 23:48

      Как я уже говорила, бизнес-подразделения - наши главные главных заказчики проекта, или, во всяком случае, одни из. Поэтому их задачи напрямую влияют на подходы обработки данных. Их роль в формировании подходов - ключевая, поскольку именно на оптимизацию их работы, в конечном счёте, направлена работа.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    09.01.2022 23:32

    Помимо прочего, интересуют возможность оптимизировать внутренние процессы. Подскажите, пожалуйста, насколько внедряемый процесс управления данными ускоряет создание новых отчетов и работу аналитиков?

    • Таиса
      09.01.2022 23:34

      Мы ещё будем оценивать сокращение времени в реальной работе, но уже сейчас аналитики отмечают существенное сокращение времени на поиск, заказ данных для отчётов и работы моделей.

      • Таиса Дасаева
        Рейтинг: 284
        ООО КРАСНОГОРСКИЙ МПК
        ИТ директор
        09.01.2022 23:55

        Гульзахида, это замечательно. Да, когда есть существенное сокращение времени, это уже доказывает, что проект был сделан не напрасно. Хотелось бы посмотреть поближе отчеты, поговорить вживую. Возможно получится встретиться. Спасибо! Отличный проект.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    09.01.2022 23:33

    Каким образом организован процесс назначения владельцев данных и других ответственных, имеющих отношение к данным? Каким образом бизнес-подразделения восприняли необходимость нести ответственность за данные?

    • Таиса
      09.01.2022 23:40

      На данный момент формируется комитет по управлению данными, который, в свою очередь, является составным элементом бизнес-процесса управления данными и их качеством. В состав комитета войдут топ-менеджеры банка, которые будут способны решить возможные конфликты при определении владельцев данных.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    09.01.2022 23:36

    А что можно сказать по выстраиванию процессов и по внутренней коммуникации? Подскажите, каким образом организовано взаимодействие между бизнес-подразделениями, CDO и техническими службами при работе с данными?

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    09.01.2022 23:37

    Есть ли в организационной структуре совет или комитет по данным? Каким образом решаются конфликтные ситуации, возникающие при назначении владельцев данных, а также при согласовании моделей данных и конкретных решений?

    • Таиса
      09.01.2022 23:42

      Как раз сейчас мы находимся на стадии формирования такого комитета, т.к. действительно начали остро ощущать в нем потребность.
      А конфликтные ситуации решаем в рабочем порядке, но это действительно нужный процесс, который требуется пройти на этапе становления бизнес-процесса управления данными.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    09.01.2022 23:38

    Еще вопрос :) Как в процессе работы с данными задействована служба информационной безопасности? Насколько сложно было интегрировать безопасников в обновлённые процессы? Изменились ли подходы ИБ при построении фабрики данных?

    • Таиса
      09.01.2022 23:43

      Да, интеграция службы безопасности в процессы действительно была одним из важнейших моментов. Для службы ИБ даже выделен отдельный стрим работ, поскольку очень остро стоят вопросы маскирования чувствительной информации, доступа к данным на разных уровнях.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    09.01.2022 23:39

    Каким образом реализован подход к управлению качеством данных при наполнении и использовании данных фабрики? Создается ли единый реестр проверки качества данных? Выделены ли в организационной структуре офицеры по качеству данных?

    • Таиса
      09.01.2022 23:43

      Как вы верно подметили при реализации платформы управления качеством данных обязательно создаётся единый реестр проверок и выделяется отдельное подразделение, ответвенное за качество. В нашем случае эти действия также были выполнены.

      • Таиса Дасаева
        Рейтинг: 284
        ООО КРАСНОГОРСКИЙ МПК
        ИТ директор
        09.01.2022 23:51

        Спасибо большое за развернутый ответ! Это очень ценная информация, думаю, сможем в полной мере использовать ваши идеи. Надеюсь, что ваш проект победит. Желаю удачи!

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    09.01.2022 23:48

    Почему вы применили управление данными DG одновременно с создание озер данных? С кого вы брали пример? С каких компаний России или зарубежных? Это очень важно понять.

    • Таиса
      09.01.2022 23:50

      Без поставленного бизнес-процесса управления данными невозможно построить корректное управление тем объёмом информации, который загружается в озеро данных, а также мы бы не смогли обеспечить прозрачность процесса получения данных и доверия к их качеству. Что касается примеров компаний, здесь можно говорить долго.

      • Таиса Дасаева
        Рейтинг: 284
        ООО КРАСНОГОРСКИЙ МПК
        ИТ директор
        09.01.2022 23:59

        Если будут конкретные примеры компаний, это было бы очень здорово. Однако, я понимаю, что не всегда уместно заявлять другие компании, я вас понимаю. Спасибо еще раз.

    • Аллан Пиренов Таиса
      Рейтинг: 186
      AllanKo
      Директор по ИТ
      09.01.2022 23:52

      Таиса, мне кажется, тут смело можно приводить пример Сбербанка - если из российских) Во всяком случае, в пространстве СНГ их опыт с озёрами данных, мне кажется, самый богатый. Возможно, я ошибаюсь, буду благодарен, если коллеги меня поправят.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    09.01.2022 23:48

    В чем вы видите преимущество данного подхода? Пожалуйста, напишите пять или семь пунктов данного подхода, это поможет нам продать проект внутри нашей компании. Буду Вам очень признательна. Спасибо огромное!

    • Таиса
      09.01.2022 23:52

      Данный подход важно применить в самом начале проекта по построению умного озера данных, т.к. доверие бизнеса к хранящейся там информации необходимо обеспечивать со старта загрузки данных. Помимо этого управление данными позволит решить проблемы с разграничением доступа к данным и назначением ответвенных за конкретную информацию.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    09.01.2022 23:49

    Считаете ли вы, что применение управления качеством на сквозном треке карты трансформации данных защитой от превращения озера в болото? Совсем не хочется превращать данные в болото. Буду признательна за ответ, спасибо большое еще раз!

    • Аллан Пиренов Таиса
      Рейтинг: 186
      AllanKo
      Директор по ИТ
      09.01.2022 23:55

      Таиса, а что Вы в данном случае подразумеваете под "болотом"? Вы имеете в виду просто накопление инфомрационного мусора? Или же недостаточность внедрения технологий машинного обучения? Мне кажется, тут правильно было бы пояснить, что именно стоит за Вашей метафорой.

    • Таиса
      09.01.2022 23:56

      Да, конечно. Это было одной из причин внедрения платформенного решения по управлению качеством данных и обеспечения доверия к данным, которые мы готовим, в том числе и для управленческой отчётности. Я ответила на Ваш вопрос?

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    09.01.2022 23:53

    На сколько, по вашему мнению, данных подход (управление данными + озеро данных) тиражируем? и можно ли применять его при реинжиниринге хранилища. У нас были мысли на этот счет, но мы так и не пришли к единому мнения. Возможно вы сможете нам помочь. Спасибо!

  • 09.01.2022 23:56

    Данный подход позволяет без существенного увеличения трудозатрат на реализацию проекта позволит в будущем иметь гибкий механизм быстрой реализации новых бизнес требований при регулярном управлении качеством данных, из наблюдаемостью, доступностью, качеством и персонифицировать ответственность за данные.
    Подход является полностью тиражируемым, а так же может быть применен при миграции или реинжиниринге хранилища, так как позволит существенно снизить время, затрачиваемое на реинжиниринг хранилища, а так че повысить качество реинжиниринга.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    09.01.2022 23:58

    Гульзахида, спасибо огромное, что оперативно отвечали на мои вопросы. Это дорогого стоит. Вы действительно профессионал в своем деле. Удачи вам в во всех ваших начинаниях. Очень ценные советы.

  • Аллан Пиренов
    Рейтинг: 186
    AllanKo
    Директор по ИТ
    10.01.2022 00:04

    Вы пишете о том, что основная цель проекта – улучшение клиентского опыта. А со стороны клиентов поступает обратная связь? Если да, то насколько активно? Что именно говорят Ваши клиенты об обновлённых сервисах?

  • Stanislav Klevtsov
    ООО Palta Brain
    Chief Architector of Data Platform
    10.01.2022 10:19

    Отличный проект !

  • Roman Lomovskoi
    Рейтинг: 30
    ООО Original works
    Lead Data Analyst
    04.09.2022 10:11

    Добрый день! Очень масштабно. Рассчитывали срок окупаемости проекта? За сколько по вашему мнению.он окупится?

Год
Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.