Что делать с аналитической незрелостью? Data-sсience, ModelOPS и контейнеры

6 мая 2020

Что особенного знают компании Netflix, Airbnb, Spotify и Lyft, чего не знаете вы? Что есть у них, чего вам может не хватать? Безусловно, у них была идея. Но у всех бывают хорошие идеи. Как же они смогли реализовать свои, совершив настоящий прорыв в отрасли? Каждому из этих бизнесов, чтобы создать цифровую платформу, которая превратила данные в ключевой актив, потребовалось сочетание сильной технологической и аналитической экспертиз.

Теперь вы можете подумать: «Но мы тоже занимаемся аналитикой. У нас есть команда смышлёных дата-сайентистов. Мы знаем новейшие методы машинного и глубокого обучения, и мы даже посещаем лучшие аналитические конференции». Однако, есть разница между аналитической и технологической зрелостью. Компании-лидеры рынка являются как аналитически, так и технологически зрелыми. Такие организации не просто знают, как строить модели и использовать алгоритмы. Они также понимают, как создавать полноценную экосистему вокруг кода машинного обучения. Они знают, как быстро и эффективно внедрить в бизнес тысячи моделей, как масштабировать их применение и как систематически валидировать, отслеживать, улучшать и заменять модели.

Зрелые аналитически, но не технологически

Если вы делаете большую работу в части сбора и анализа данных, но в результате эти наработки не можете применить для решения бизнес-задач в нужных масштабах, вам повезло: я поделюсь с вами тремя актуальными рыночными трендами, которые позволяют даже самым традиционным компаниям продвинуться в направлении операционализации аналитики. Речь идет о следующих трендах:

Интеллектуальная подготовка данных.
Контейнеры для аналитики.
ModelOps для машинного обучения.

Объединение этих трех технологических трендов может изменить методологию работы с данными и аналитикой. Таким образом вы сможете работать по тем же принципам, как и лидеры рынка.

Интеллектуальная подготовка данных

Дата-сайентисты все еще тратят много времени на приведение информации в нужный вид. Сложность данных тоже растет. Каким образом нужно работать с теми из них, чья сложность все нарастает? Что, если рассматривать задачи управления данными в виде решаемых с помощью ИИ?

Интеллектуальная подготовка данных использует алгоритмы ИИ, чтобы найти в них тренды, скрытые закономерности и привести для них релевантный контекст. В настоящее время подготовка данных для обучения, как правило, является ручным процессом, требующим маркировки со стороны аналитика. Вы берете часть данных или изображения и добавляете метаданные. Например, указываете, что на этом изображении находится кот, на этом — собака, а это — амбар. Вы делаете маркировку данных, создавая витрину для обучения. В случае обработки трехмерных изображений, например, на производстве, вы указываете, где располагается лист фанеры, каковы углы этого листа, приводите его измерения и так далее.

Вместо того, чтобы тегировать и маркировать данные вручную, интеллектуальная подготовка данных решает эти задачи в автоматическом режиме. В своей работе она использует алгоритмы обучения с подкреплением. Также она может использовать результаты работы других моделей, запуская на этом основании процедуру переработки. Речь идет о непрерывном процессе обучения модели, основываясь на принимаемых ранее решениях.

Интеллектуальная подготовка данных не ограничивается областью обработки изображений. Она может пригодиться для задач работы с потоковыми данными и данными из корпоративного хранилища, управления мастер-данными — и для других задач. Также она может объединять данные, полученные из различных источников, выполнять их очистку и составлять сложные комбинации между потоковыми и архивными данными из хранилища — и все это автоматически.

ИТ-контейнеры для аналитики

В мире ИТ-контейнеры являются одной из самых востребованных технологий для развертывания программного обеспечения в облачных средах. Они отлично вписываются в концепцию, которой любят руководствоваться ИТ-специалисты для тестирования и интеграции ПО. Эта концепция позволяет быстрее внедрять софт, облегчает его обновление и упрощает процесс управления пакетами программного обеспечения. Вы можете использовать преимущества новых версий без необходимости выполнения трудоемкого апгрейда.

Для поставщиков программного обеспечения контейнеры упрощают внедрение новых пакетов и интеграцию с другими пакетами, способствуют автоматизации процессов, в частности, позволяют выполнять гибкую настройку приложений с учетом динамической нагрузки и многих других факторов.

Контейнеры способствуют демократизации использования углубленной аналитики и снижают барьер на пути к новым программным продуктам. Они позволяют легко обращаться к нужному софту в тот момент, когда он потребуется. Вы можете экспериментировать с новыми алгоритмами и методами без лишних рисков и затрат.

Представьте, например, что вы разработали модель машинного обучения для задачи дополнительных продаж next-best offer. В случае появления нового алгоритма вы сможете его автоматически внедрить для решения этой задачи и направить через него 5% трафика. Затем, посмотрев на результат работы, сможете сделать вывод, работает ли он лучше, чем предыдущий алгоритм. Если новый алгоритм будет работать хорошо, поток заявок по нему можно увеличить до 10%, затем — до 25% и так далее, до полной замены используемой модели. Если надежда на результаты работы нового алгоритма не оправдаются, вы просто вернетесь к изначальному алгоритму.

Преуспевающие бизнесы постоянно тестируют новые алгоритмы и таким образом запускают новые и совершенствуют текущие предложения. Это помогает также и в непрерывном развитии клиентской базы.

ModelOps для машинного обучения

У вас организован бесперебойный процесс передачи моделей, созданных командой аналитиков, в ИТ-подразделение, которое отвечает за эксплуатацию? Вы производите регулярные обновления и внедрения моделей? Как вы оцениваете деградацию качества работы моделей и какие в связи с этим принимаются действия? Все ли ваши модели, которые были разработаны, эксплуатируются в бизнесе?

ModelOps охватывает процессы регистрации, валидации, тестирования и эксплуатации аналитических моделей, повышая их общую эффективность. Эта методология помогает управлять и масштабировать применение аналитических моделей для решения актуальных бизнес-задач, а также постоянно отслеживать качество этих моделей, чтобы своевременно реагировать на признаки ухудшения предиктивной силы.

В рамках использования методологии ModelOps можно внедрить в бизнес больше аналитических моделей, причем каждая из них проходит следующие этапы:

Данные: исследование и подготовка данных из централизованного и безопасного источника.
Разработка новых моделей: создание моделей с учетом вводных, которые относятся к этапам мониторинга и эксплуатации.
Регистрация моделей: сохранение модели и связанных с ней метаданных в универсальном репозитории.

Интеграция моделей: повышение скорости внедрения моделей в бизнес, в том числе за счет плотного сотрудничества между дата-сайентистами и ИТ-специалистами.
Мониторинг моделей: постоянное отслеживание качества работы модели, доработка и замена моделей по мере необходимости.

Этот процесс организован таким образом, что позволяет непрерывно оценивать изменение статистических свойств данных и деградацию предиктивной силы модели. Он сокращает время внедрения новых моделей и обеспечивает регулярность обновления версий.

Вместо вывода

Три технологических тренда, описанные выше, способствуют изменению методики работы с данными и управления аналитическими проектами. Если компания достигла высокого уровня аналитической зрелости, эти инструменты можно применять, чтобы достичь зрелости технологической.

Выберите задачу, в которой у вас постоянно возникают проблемы с управлением данными, и попробуйте решить их с помощью интеллектуальной подготовки данных.

Локализуйте наличие сложного ландшафта ПО и разнородного кода, а затем посмотрите, могут ли контейнеры помочь упростить вашу аналитическую инфраструктуру.

Изучите рабочие процессы, существующие в data science практике, и обратите внимание на те действия, эффективность которых вы могли бы повысить, реализовав универсальный регламент управления, развертывания и обновления моделей.

Впрочем, если ваша компания достигла высокого уровня технологической зрелости и у неё уже есть сильная ИТ-инфраструктура, а аналитика отстает, получитьсвои бонусы от использования данных аналитических инструментов все равно можно.

Подумайте, какие внешние источники данных вы сможете использовать, если применить интеллектуальную подготовку данных, и какие модели глубокого обучения вы сможете еще создать.

Обратите внимание на применение контейнеров для аналитики, а не только для обычного ПО. Те же самые практики, которые вы изучили для непрерывной разработки и имплементации, помогут вам в работе с аналитикой.

Определите задачу, которую можно было бы решить эффективнее, управляя моделями как ценным корпоративным активом в рамках системного подхода. Начните экспериментировать с углубленной аналитикой, учитывая ваши разработки в части классического программного обеспечения.

Независимо от текущего уровня экспертизы в аналитике и ИТ в вашей компании преимущества от использования выше описанных технологий получить все же можно, и задача эта вполне реалистична.

Читать еще:

#ИТСтратегия #data-science #modelOPS

7781