Валерий Бабушкин, X5 Retail Group: Будущее наступило
5 июня 2020
Какова практическая ценность инструментов machine learning в ритейле сейчас? Какое возможно повышение конверсии в ближайшем обозримом будущем?
Валерий Бабушкин: Первое - это оптимизация существующих процессов компании. Бизнес Х5 достаточно прост, если описать его несколькими словами: мы покупаем товар, мы продаем товар. Допустим, мы купили 100 тонн курицы. Мы хотим, чтобы мы продали максимально близко к этому числу. Если мы купили 100 тонн курицы, а купили у нас 90, это плохо. Если купили мы 100 тонн и продали тоже 100 тонн, это тоже плохо. Почему? Мы не можем быть уверены, что у нас бы не купили тогда 110 тонн. Получается, что тот спрос, который есть на эту курицу, мы полностью не удовлетворили, и, возможно, клиенты пошли к конкурентам или просто остались недовольны. Соответственно, мы хотим, чтобы у нас была дельта между тем, что мы купили, и тем, что мы продали, но она была бы максимально маленькой. То есть не 10 тонн, как в примере 100 и 90, а, допустим, тонна или полтонны. И у нас есть процесс, процесс заказа этой курицы. Если мы можем прогнозировать, как много у нас курицы купят, то мы сможем эту дельту уменьшить. Соответственно, всегда, когда делаются какие-то закупки, специалисты, эксперты понимают, что надо заказать примерно столько, тогда мы продадим столько сколько нужно. С помощью машинного обучения можно прогнозировать спрос (собственно, мы это делаем) и эту дельту уменьшать.Второй момент, что можно делать машинным обучением - это консалтинг. Это продавать как консалтинг: если у команды нет своей команды, можно предоставлять услуги команды со стороны.
И третий вариант - это машинное обучение как корневой, ключевой продукт. Классическим примером является такая компания, как Google или Яндекс. У них основное количество денег, которые они зарабатывают, - это деньги с рекламы. Основной продукт, на котором они эту рекламу показывают и зарабатывают, - это поисковые системы. Поисковые системы - это машинное обучение как оно есть. И система ранжирования рекламы - это тоже машинное обучение. Тут они, в принципе, напрямую зарабатывают.
Мы в ритейле занимаемся реализацией первого пункта: мы оптимизируем существующие процессы.
Процессов довольно много: и ценообразование, и промоакции, и ассортимент, и, прогноз спроса.
Если мы говорим про конверсию, то нужно понимать, что это зависит от бизнеса, то есть конверсия что во что. Если уже человек к нам пришел в магазин, он уже купит там.
Если мы говорим про маркетинговые кампании, да, мы их можем оптимизировать, как-то повышать их эффективность, но нужно понимать, что бизнес Х5 построен не на этом.
Как мы обсуждали на круглом столе, был резкий взлет спроса, потом было падение на определенные продукты. По крайней мере, так говорят между собой люди, близкие к ритейлу. А модель uplift, она технически сейчас справляется, успевает?
Валерий Бабушкин: Да. Тут никакой проблемы нет, потому что достаточно быстро и просто, с технической точки зрения, эти модели дообучать. Если скрестить модели uplift и reinforcement learning, то reinforcement learning как раз позволяет адаптивно подстраиваться под меняющуюся среду, если не в режиме реального времени, но близко к этому.
А не получается, что эти все прогнозы, как обычно говорят, это как подготовка ко вчерашней войне? Данные ведь берутся из прошлого, экстраполируются.
Валерий Бабушкин: Не совсем, все-таки. Мы же четко понимаем, что поведение основано на каких-то факторах. Да, прогноз может иметь определенную волатильность, дисперсию, но довольно легко проверять, насколько хорошо он работает.
Как делается машинное обучение? Строится baseline, и модель сравнивается с baseline. Baseline - это базовое, простое решение. В нашем случае baseline может быть “как раньше делали, так и делаем”. А с чем сравниваем? С моделью машинного обучения. Ставим параллельно А/В-тест, смотрим - лучше или хуже. Если оно хуже даже в периоды кризиса - все, оно улучшено. Так что здесь довольно все просто. Оно никогда не будет идеально. Оно должно быть лучше, чем без него.
В любые времена хороший специалист на вес золота. И в data science рынок явно еще не насытился. Есть ли кадровый голод на таких специалистов?
Валерий Бабушкин: Кадровый голод есть. Кадровый голод есть вообще по всему миру, иначе тот же Facebook, Google и прочие компании не открывали бы свои офисы в других странах и даже не нанимали бы специалистов со всего мира. Зачем условный Google или Facebook открывает офис в Лондоне, нанимает туда людей из России, из Индии и т.д.? Они вынуждены привлекать специалистов со всего мира, так как одной уже не хватает, чтобы утолить кадровый голод. Хотя у них отличный бренд, великолепные финансовые условия и т.д. У нас схожие процессы, кадровый голод безусловно, есть. Чем более квалифицированные, сильные люди нужны, тем сложнее. Потому что:
а) их мало;
б) их ценят на текущих рабочих местах и стараются не отпускать.
То есть, очевидно, что, если даже от кого-то готовы избавиться (не говорим даже про сокращение), хорошему специалисту обычно хорошо, потому что его ценят и стараются его не отпускать, создавать ему комфортную жизнь. Таких людей на рынке немного, поэтому получается пирамида очень крутых, потом просто крутых, потом сильных, потом средних, потом чуть ниже среднего и так далее специалистов.
Какая специфика управления технарями?
Валерий Бабушкин: Неплохо чтобы технарями управлял тот человек, который сам этим занимался, в этом разбирается, и поэтому его уважают. Это, наверное, стандартно, если есть руководители и есть подчиненные, очень здорово, когда они:
а) друг друга уважают;
б) понимают, чем занимаются.
Но все-таки это специфическая публика?
Валерий Бабушкин: Специфическая. Но мне здесь трудно оценить, потому что я сам из этой публики. У меня получается, на мой взгляд, неплохо. Есть какие-то объективные критерии, по которым я могу себя оценить: условно, деньги, которые мы приносим; команда, которая у меня растет, уменьшается или остается в том же размере, и отток, то есть сколько людей от меня уходит. Если команда растет, деньги приносятся, а уходит очень мало людей за достаточно продолжительное время, то можно сделать вывод, что всё вроде бы и неплохо. Это такие, объективные метрики. Ну и плюс какие-то субъективные ощущения. Но нужно понимать, что я кровь от крови, плоть от плоти технарь.
Понятно, что управленцу все в себе хорошо бы сочетать, чтобы руководить именно технарями. А вот для ваших коллег, для подчиненных, скорее всего, hard скилы важнее же?
Валерий Бабушкин: Есть некоторая сложность. Да, hard скилы, безусловно, крайне важны, чтобы быть специалистом. Но тут еще такой момент: условно говоря, если человек чего-то не знает, обычно его можно обучить. При этом базовым, средним вещам можно обучить довольно быстро, за три-шесть месяцев. А десять лет жизненного опыта и понимания того, как общаться, за несколько месяцев получить очень тяжело. Например, можно ли научить человека быть надежным? Наверное, нельзя. Наверное, можно обращать его внимание на это и как-то сподвигнуть его в эту сторону, но если он катастрофически ненадежен, вряд ли ты из него сделаешь надежного человека. Надежность - это soft скил или нет? Явно не hard.
Нет, безусловно, я и мои ребята - мы в первую очередь смотрим на технические навыки. Но нужно сказать, что ненадежный, но в меру крутой технически человек тоже нам не нужен. Ему можно дать серьезную задачу, но он может просто ее не сделать. То есть ненадежный.
А какая у вас есть система показателей эффективности в подразделении?
Валерий Бабушкин: Самые объективный критерий - подсчитать сколько денег приносит подразделение. Не всегда это можно сделать. Например, тяжело посчитать, сколько денег юристы принесли или HR-департамент. Я внедрил в подразделении специальные встречи один на один, где мы обсуждаем результаты; мы делаем что-то вроде performance review.
Средний возраст сотрудников в вашем подразделении 23-24 года. Логично, там и отрасль молодая, и т.д. Но если представить, что какой-то условный человек 50 лет может покрыть серьезную часть специфических задач, вы бы взяли?
Валерий Бабушкин: Да. Я уже частично на этот вопрос ответил про то, что 10 лет жизненного опыта. Если мы говорим про то, что он технически тянет - конечно, взял бы с удовольствием. У меня был сотрудник, который был почти на 20 лет меня старше. Почему был? Я его не уволил, он просто перешел в соседнее подразделение с повышением. Сейчас он очень связан с аналитикой, но мы с ним спокойно полтора года работали с большим удовольствием. Но это конкретно мой ответ, не ответ всей отрасли. При прочих равных я бы отдал предпочтение кандидату, который постарше. Но нужно понимать, что ситуации “прочих равных” практически никогда не бывает. Но, скажем так, для меня это не минус как минимум, возможно даже плюс.
А есть у вас какая-нибудь профессиональная обозримая цель? Не карьерная?
Валерий Бабушкин: Раньше у меня была цель - стать Competition Grand Master. И я им стал. Профессиональная цель? Я уже, можно сказать, профессиональный управленец-менеджер. Да, я занимаюсь технической темой и много чего интересного сделал. Может быть, сделать какую-то работающую систему для пары миллиардов людей. Для пары десятков миллионов я делал, теперь хочется для пары миллиардов.
Есть какая-то амбиция на этот счет, чтобы показать пальцем: вот это я сделал?
Валерий Бабушкин: Да.
К сожалению, все в данное интервью не уместится, поэтому в конце мы просим прокомментировать несколько ваших фраз из разных выступлений.
Первая фраза. “Очевидно, что у меня много свободного времени, и в свободное время я занимаюсь тем же, чем на работе”.
Валерий Бабушкин: Эта фраза немножко ироничная, потому что обычно она идет после того, как я перечислил, чем занимаюсь. Имелась в виду конкретно Kaggle площадка - это площадка для соревнования по машинному обучению. Я сейчас с Kaggle завязал, потому что я достиг там всего, чего хотел.
А какое у вас место на Kaggle было?
Валерий Бабушкин: Мое наивысшее место было 23-е из 127 с чем-то тысяч. Там есть ранги. Самый высший ранг - соревновательный Grand Master. Таких людей на тот момент было 150 в мире, сейчас, может быть, их 180. Я добился этого звания. Дальше что? В рейтинге подниматься еще выше? Это уже особо не имело бы смысла для меня.
Следующая фраза. Она явно была связана с какими-то программами лояльности. “Лицо потерять сложнее, чем карточку”.
Валерий Бабушкин: Это тоже хорошая игра слов (обсуждалась конкретно система face recognition), что карточка физическая, лояльности, является лишь носителем, идентификатором, как связать конкретную персоналию с его счетом в системе лояльности. То есть карточка не необходимость, а лишь некий протез. И у карточки какой минус? Во-первых, это пластик, он загрязняет окружающую среду. Плюс он стоит денег, и карточки действительно легко потерять, забыть, а лицо сложнее потерять. Есть же выражение “потерял лицо”. Мне показалось, что забавная игра слов.
Вы собираете мусор раздельно?
Валерий Бабушкин: К сожалению, я не собираю мусор раздельно, потому что, помимо сбора, его нужно сдать куда-то раздельно. Когда жил в Германии - как все, сдавал раздельно. Это же не значит, что нельзя что-то сделать. Но при этом можно какие-то банальные вещи сделать: зубы чистишь - выключаешь воду, пока чистишь. Если можно карточки не печатать и не тратить бумагу, лучше не печатать.
Соглашусь. Еще такая фраза у меня есть. Она мне очень понравилась, я даже думаю, куда ее пристроить, в какой-нибудь лид. “Мы взяли вот такую штуку, добавили к ней половину вот такой штуки и получили 0,0003% выгоду”.
Валерий Бабушкин: Не помню, конечно, про что сказал, но 0,0003% — это могут быть большие деньги, если мы говорим о выручке Х5, которая в прошлом году превысила 1,7 триллиона рублей. Это сколько получается? Это 5,1 млн получился плюс, не так чтобы очень много.
Там, по-моему, контекст был такой, что это не инновационное решение.
Валерий Бабушкин: А, я понял, про что контекст. Наверное, я рассказывал про то, что существую такие вещи. Простой пример. Возьмем тот же Яндекс или Google. Там есть ключевой продукт - поисковик. С одной стороны, поисковик - это ключевая технология, там самые крутые обычно сидят ребята, но там уже нельзя вырасти, потому что там уже все сделано. Люди сидят, чтобы за год увеличить на 0,0003% какую-то метрику. Уже не будет, по крайней мере не было за последние пять лет какого-то огромного прорыва в метриках, в качестве.
А какой смысл тогда там работать?
Валерий Бабушкин: Во-первых, ты можешь работать с реально сильными людьми. Может быть, тебе нравится копаться и улучшать на эти 0,0003%. Это же разные задачи: в глубину и в ширину. Опять же, мы технологически сложная система. Это сейчас 0,0003%, а за десять лет будет в десять раз больше и произойдет прорыв. Это тоже серьезные технологии, но нужно понимать, что есть так называемые “низко висящие плоды” и в ключевых продуктах в больших компаниях они уже сорваны. Тут вопрос в приоритетах.
Может, что-нибудь скажете на тему злободневную, у вас разрабы не сидят постоянно в офисе, они, наверное, в более-менее свободном графике или как?
Валерий Бабушкин: Так и было. Если мы говорим про текущую ситуацию, то на мой департамент и меня она повлияла минимально, потому что и так были люди, сидящие в других городах или те, которые в офис заходили раз в одну-две недели.
Специфика управления распределенной командой в чем состоит?
Валерий Бабушкин: Специфики, на мой взгляд, особо нет. Почему? Потому что, когда ты работаешь с высококвалифицированными, сильными людьми, ты должен им доверять и давать свободу. Безусловно, должны быть какие-то точки контроля. Они должны быть для того, чтобы ты понимал, что происходит: точка контроля и точка понимания, в том ли направлении все идет. Тут уже без разницы: он в офисе, и ты с ним раз в недельку пересекаешься, общаешься или удаленно - принцип не меняется. Ты либо доверяешь ему и даешь делать так, как он видит, либо ты просто с такими людьми работать не сможешь, потому что они уйдут от тебя.
Еще у меня есть такой вопрос, на который почти никто не отвечает, обычно все уклончиво. Если бы у вас сейчас был бы выбор - возглавить какое-нибудь серьезное направление, интересное для вас, в любой компании мира - вы бы какую выбрали, кроме Х5?
Валерий Бабушкин: Я бы выбрал Integrity в Facebook. Community Integrity - это то направление, которое занимается безопасностью, fake news, самоубийцами, скаверами, абьюзерами, фродом и т.д.
Почему?
Валерий Бабушкин: Потому что, с одной стороны, Facebook (ну, Facebook - это общее название, потому что Facebook включает в себя еще и Instagram) - это миллиарды пользователей. Хотелось бы что-то сделать для миллиардов. Вообще, не так много компаний есть в мире, чьим продуктом на ежедневной основе пользуются миллиарды пользователей.
Да, то есть, у вас сужается выбор.
Валерий Бабушкин: Сколько их? Это Facebook и Google? По Apple, мне кажется, нет, миллиарды не пользуются, даже миллиард не думаю, что пользуется, уже не говоря про миллиарды. Google, наверное, миллиарды пользуются, туда же еще YouTube входит. Facebook точно пользуются миллиарды. Почему Integrity? Потому что люди много времени там проводят: и дети, и взрослые, и пожилые люди. С одной стороны, это интересная задача, потому что ты больше с людьми (потому что обманывают, кидают и прочее тоже ведь люди), а люди очень изобретательны. С другой стороны, ты делаешь мир лучше, безопаснее.
То есть, вы мыслить должны тоже как преступник?
Валерий Бабушкин: Я не уверен, что я должен мыслить, как преступник для этого, но, в принципе, когда ты решаешь какую-то задачу, просто пытаешься решить ее с разных сторон. Не знаю, является ли это мышлением преступника.
Какое-нибудь заключительное от вас слово, фраза, пожелание.
Валерий Бабушкин: Будущее наступило.
Подготовила Анна Кожурина
Читать еще:
- Валерий Бабушкин, Х5 Retail Group: «Мы активно экспериментируем с компьютерным зрением»
- Впереди планеты всей
