Что делать с аналитической незрелостью? Data-sсience, ModelOPS и контейнеры

6 мая 2020
2

Что особенного знают компании Netflix, Airbnb, Spotify и Lyft, чего не знаете вы? Что есть у них, чего вам может не хватать? Безусловно, у них была идея. Но у всех бывают хорошие идеи. Как же они смогли реализовать свои, совершив настоящий прорыв в отрасли? Каждому из этих бизнесов, чтобы создать цифровую платформу, которая превратила данные в ключевой актив, потребовалось сочетание сильной технологической и аналитической экспертиз.

Теперь вы можете подумать: «Но мы тоже занимаемся аналитикой. У нас есть команда смышлёных дата-сайентистов. Мы знаем новейшие методы машинного и глубокого обучения, и мы даже посещаем лучшие аналитические конференции». Однако, есть разница между аналитической и технологической зрелостью. Компании-лидеры рынка являются как аналитически, так и технологически зрелыми. Такие организации не просто знают, как строить модели и использовать алгоритмы. Они также понимают, как создавать полноценную экосистему вокруг кода машинного обучения. Они знают, как быстро и эффективно внедрить в бизнес тысячи моделей, как масштабировать их применение и как систематически валидировать, отслеживать, улучшать и заменять модели.

Зрелые аналитически, но не технологически

Если вы делаете большую работу в части сбора и анализа данных, но в результате эти наработки не можете применить для решения бизнес-задач в нужных масштабах, вам повезло: я поделюсь с вами тремя актуальными рыночными трендами, которые позволяют даже самым традиционным компаниям продвинуться в направлении операционализации аналитики. Речь идет о следующих трендах:

  •   Интеллектуальная подготовка данных.

  •   Контейнеры для аналитики.

  •   ModelOps для машинного обучения.

Объединение этих трех технологических трендов может изменить методологию работы с данными и аналитикой. Таким образом вы сможете работать по тем же принципам, как и лидеры рынка.

 Интеллектуальная подготовка данных

 Дата-сайентисты все еще тратят много времени на приведение информации в нужный вид. Сложность данных тоже растет. Каким образом нужно работать с теми из них, чья сложность все нарастает? Что, если рассматривать задачи управления данными в виде решаемых с помощью ИИ?

Интеллектуальная подготовка данных использует алгоритмы ИИ, чтобы найти в них тренды, скрытые закономерности и привести для них релевантный контекст. В настоящее время подготовка данных для обучения, как правило, является ручным процессом, требующим маркировки со стороны аналитика. Вы берете часть данных или изображения и добавляете метаданные. Например, указываете, что на этом изображении находится кот, на этом — собака, а это — амбар. Вы делаете маркировку данных, создавая витрину для обучения. В случае обработки трехмерных изображений, например, на производстве, вы указываете, где располагается лист фанеры, каковы углы этого листа, приводите его измерения и так далее.

Вместо того, чтобы тегировать и маркировать данные вручную, интеллектуальная подготовка данных решает эти задачи в автоматическом режиме. В своей работе она использует алгоритмы обучения с подкреплением. Также она может использовать результаты работы других моделей, запуская на этом основании процедуру переработки. Речь идет о непрерывном процессе обучения модели, основываясь на принимаемых ранее решениях.

Интеллектуальная подготовка данных не ограничивается областью обработки изображений. Она может пригодиться для задач работы с потоковыми данными и данными из корпоративного хранилища, управления мастер-данными — и для других задач. Также она может объединять данные, полученные из различных источников, выполнять их очистку и составлять сложные комбинации между потоковыми и архивными данными из хранилища — и все это автоматически.

ИТ-контейнеры для аналитики

В мире ИТ-контейнеры являются одной из самых востребованных технологий для развертывания программного обеспечения в облачных средах. Они отлично вписываются в концепцию, которой любят руководствоваться ИТ-специалисты для тестирования и интеграции ПО. Эта концепция позволяет быстрее внедрять софт, облегчает его обновление и упрощает процесс управления пакетами программного обеспечения. Вы можете использовать преимущества новых версий без необходимости выполнения трудоемкого апгрейда.

Для поставщиков программного обеспечения контейнеры упрощают внедрение новых пакетов и интеграцию с другими пакетами, способствуют автоматизации процессов, в частности, позволяют выполнять гибкую настройку приложений с учетом динамической нагрузки и многих других факторов.

Контейнеры способствуют демократизации использования углубленной аналитики и снижают барьер на пути к новым программным продуктам. Они позволяют легко обращаться к нужному софту в тот момент, когда он потребуется. Вы можете экспериментировать с новыми алгоритмами и методами без лишних рисков и затрат.

Представьте, например, что вы разработали модель машинного обучения для задачи дополнительных продаж next-best offer. В случае появления нового алгоритма вы сможете его автоматически внедрить для решения этой задачи и направить через него 5% трафика. Затем, посмотрев на результат работы, сможете сделать вывод, работает ли он лучше, чем предыдущий алгоритм. Если новый алгоритм будет работать хорошо, поток заявок по нему можно увеличить до 10%, затем — до 25% и так далее, до полной замены используемой модели. Если надежда на результаты работы нового алгоритма не оправдаются, вы просто вернетесь к изначальному алгоритму.

Преуспевающие бизнесы постоянно тестируют новые алгоритмы и таким образом запускают новые и совершенствуют текущие предложения. Это помогает также и в непрерывном развитии клиентской базы.

ModelOps для машинного обучения

У вас организован бесперебойный процесс передачи моделей, созданных командой аналитиков, в ИТ-подразделение, которое отвечает за эксплуатацию? Вы производите регулярные обновления и внедрения моделей? Как вы оцениваете деградацию качества работы моделей и какие в связи с этим принимаются действия? Все ли ваши модели, которые были разработаны, эксплуатируются в бизнесе?

ModelOps охватывает процессы регистрации, валидации, тестирования и эксплуатации аналитических моделей, повышая их общую эффективность. Эта методология помогает управлять и масштабировать применение аналитических моделей для решения актуальных бизнес-задач, а также постоянно отслеживать качество этих моделей, чтобы своевременно реагировать на признаки ухудшения предиктивной силы.

В рамках использования методологии ModelOps можно внедрить в бизнес больше аналитических моделей, причем каждая из них проходит следующие этапы:

  • Данные: исследование и подготовка данных из централизованного и безопасного источника.

  • Разработка новых моделей: создание моделей с учетом вводных, которые относятся к этапам мониторинга и эксплуатации.

  • Регистрация моделей: сохранение модели и связанных с ней метаданных в универсальном репозитории.

  • Интеграция моделей: повышение скорости внедрения моделей в бизнес, в том числе за счет плотного сотрудничества между дата-сайентистами и ИТ-специалистами.

  • Мониторинг моделей: постоянное отслеживание качества работы модели, доработка и замена моделей по мере необходимости.

Этот процесс организован таким образом, что позволяет непрерывно оценивать изменение статистических свойств данных и деградацию предиктивной силы модели. Он сокращает время внедрения новых моделей и обеспечивает регулярность обновления версий.

Вместо вывода

Три технологических тренда, описанные выше, способствуют изменению методики работы с данными и управления аналитическими проектами. Если компания достигла высокого уровня аналитической зрелости, эти инструменты можно применять, чтобы достичь зрелости технологической.

Выберите задачу, в которой у вас постоянно возникают проблемы с управлением данными, и попробуйте решить их с помощью интеллектуальной подготовки данных.

Локализуйте наличие сложного ландшафта ПО и разнородного кода, а затем посмотрите, могут ли контейнеры помочь упростить вашу аналитическую инфраструктуру.

Изучите рабочие процессы, существующие в data science практике, и обратите внимание на те действия, эффективность которых вы могли бы повысить, реализовав универсальный регламент управления, развертывания и обновления моделей.

Впрочем, если ваша компания достигла высокого уровня технологической зрелости и у неё уже есть сильная ИТ-инфраструктура, а аналитика отстает, получитьсвои бонусы от использования данных аналитических инструментов все равно можно.

Подумайте, какие внешние источники данных вы сможете использовать, если применить интеллектуальную подготовку данных, и какие модели глубокого обучения вы сможете еще создать.

Обратите внимание на применение контейнеров для аналитики, а не только для обычного ПО. Те же самые практики, которые вы изучили для непрерывной разработки и имплементации, помогут вам в работе с аналитикой.

Определите задачу, которую можно было бы решить эффективнее, управляя моделями как ценным корпоративным активом в рамках системного подхода. Начните экспериментировать с углубленной аналитикой, учитывая ваши разработки в части классического программного обеспечения.

Независимо от текущего уровня экспертизы в аналитике и ИТ в вашей компании преимущества от использования выше описанных технологий получить все же можно, и задача эта вполне реалистична.

Читать еще:

3099
Поделиться
Коментарии: 2

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Татьяна Орлова
    Рейтинг: 89
    ЗАО "ЕС-лизинг"
    Замдиректора по инновационной и экспериментальной деятельности, консультант по управленческим дисциплинам
    29.04.2020 13:46

    Статья, безусловно, интересная. Столько статей по поводу различной незрелости: и аналитической, и технологической, и любой другой. Кроме управленческой... А ведь именно она, управленческая зрелость, должна бы свести на нет все прочие незрелости.. Это, возможно, и есть ответ на вопрос, что есть у ... и чего нет у ... Косвенно здесь, в этой статье, тоже присутствует эта мысль. Если внимательно прочитать раздел "Вместо вывода", каждый абзац этого раздела, ПЛЮС часть про ModelOps, то все, что там написано, как раз и относится к управленческой деятельности и уровню ее зрелости. Давно занимаемся аналитикой, НО: до тех пор, пока не удалось "загнать" аналитические задачи в контекст управленческих, а также наладить работу команды, где есть аналитик, математик, экономист, эксперты по данным и технологиям, и где последовательно решаются все задачи под руководством, с лидерством и в границах, указанных управленцем, получались мелкие одноразовые проектики, которые не очень понятно, кому и для чего нужны. Ну нашли что-то, ну разработали аналитический отчет, где это "что-то" визуализировали. И что дальше? Больше моделей хороших и разных?

    • Анна Кожурина Татьяна
      Рейтинг: 122
      Global CIO
      Независимый эксперт
      16.05.2020 22:42

      Татьяна, спасибо за комментарий. Безусловно, это проблема не только аналитики, но и любой деятельности, когда деятельность ради деятельности. Где нет управленческой зрелости, там никакой нет. С другой стороны хорошо бы если бы каждый хотя бы свое дело делал хорошо. А насчет того как аналитические задачи поставить в контекст управленческих, это точно к вопросу о том, где голова и хвост. И, конечно, нужен универсальный "переводчик" с бизнеса на ит, с аналитики на бизнес, и обратно.

Предметная область
Отрасль
Управление