Как создать собственный ИИ для лидогенерации

Искусственный интеллект для привлечения клиентов – зачем и как его разрабатывать?

По данным исследования от McKinsey, в 2024 году уровень внедрения ИИ в бизнесе вырос до 72% (в 2023 году этот показатель составлял 55%). В два раза увеличилось использование генеративного ИИ, который создает тексты, видео и изображения по запросам – до 65%.

Генеративный ИИ особенно популярен в маркетинге и продажах, а также в разработке продуктов и услуг (57%).

Сегодня есть готовые AI-решения для генерации лидов. Но бизнесу лучше разрабатывать собственный ИИ, который будет полностью учитывать его потребности и особенности продукта. Как написать свой ИИ для лидогенерации? Об этом пойдет речь в статье.

Новый подход к лидогенерации

Инструменты AI для лидогенерации применяются в рекламе довольно давно. На тех же рекламных платформах Google и Яндекса. Но они используют традиционные инструменты, то есть составляют профиль потенциального клиента и на основе его предполагаемых интересов показывают ему рекламу.

Новый подход к лидогенерации с использованием ИИ предполагает сначала «знакомство» с пользователем по многим параметрам: полу, возрасту, интересам, сообщениям в открытом доступе (интернете, публичных чатах, комментариях в соцсетях) и т.д. LLM-модели и модели машинного обучения принимают на входе множество параметров, анализируют эти текстовые данные и на их основе составляют профиль клиента. Затем генерируют для него сообщения и предлагают релевантный продукт/услугу.

Здесь применяется довольно широкий спектр моделей машинного обучения – от классических, которые принимают и анализируют разного рода параметры и категории, до моделей машинного обучения на естественном языке – так называемые LLM-модели.

Таким образом, AI-технологии помогают более четко профилировать пользователей и определять целевую аудиторию бизнеса.

Зачем создавать собственный ИИ для лидогенерации

Разрабатывая собственные AI-решения, компания полностью контролирует параметры и алгоритмы для обучения ИИ, обеспечивает конфиденциальность и безопасность персональных данных клиентов. А потом всегда сможет модифицировать свой AI-инструмент под новые условия рынка и масштабы бизнеса.

Как правило, крупные компании создают свои AI-модели с нуля или дорабатывают модели из открытых источников. В результате они получают персонализированный инструмент – чат-бота или интеллектуальную систему, который становится частью их бизнес-процессов.

Для этого надо иметь собственную глубокую экспертизу в машинном обучении. Например, компания Perplexity сама готовила данные и дорабатывала архитектуру на основе языковых моделей GPT-4о и Claude 3. В итоге создала свою поисковую систему и чат-бота, который может общаться с пользователями на различные темы. Принцип работы чат-бота напоминает Chat GPT. Но Chat GPT решает более общие рабочие задачи, а Perplexity предлагает максимально персонализированного ассистента.

Вам также может быть интересен материал Компас CIO:

Эволюция подходов к персонализированному пользовательскому опыту в ритейле

Узнайте, как ecom.tech создает виртуального помощника на базе ИИ для персонализированного взаимодействия с клиентами в реальном времени, преодолевая ограничения классических рекомендательных систем и повышая конверсию. В статье рассматривается архитектура решения и достигнутые бизнес-результаты.

Этапы внедрения AI-системы для лидогенерации

Первый этап – формирование базы знаний

Разработчики тесно взаимодействуют с бизнесом, получая от компании детальное описание продукта и его уникальности. На основе этой базы знаний разработчики могут сравнивать запросы пользователей с предложением бизнеса.

Второй этап – подготовка датасета

Тренировочный датасет – это структурированный массив информации, который будет использоваться для тестирования лидов. Первый набор данных формируется из множества доступных сообщений. Он загружается в нейросети. Затем нейросеть выбирает данные, которые в большей мере соответствуют продукту бизнеса.

Затем разработчики вручную отделяют удачно подобранные нейросетью примеры от некорректных.

Третий этап – дообучение модели

Разработчики дообучают модель на основе подготовленного датасета. В этом помогут два ключевых инструмента.

1. DSPy – инструмент автоматической оптимизации промтов от Стэнфордской школы NLP. С его помощью можно автоматически подобрать необходимые слова для LLM-модели на основе подобранного набора данных. Эти слова были введены бизнесом в текстовом формате на первом этапе.

DSPy позволяет уточнить эти запросы, добавляя нужные примеры в описание. Инструмент также исключает лишние слова, которые могут помешать LLM-модели правильно систематизировать лидов.

2. LoRA (low-rank adaptation) – инструмент для доработки моделей с открытым исходным кодом. LoRA добавляет несколько параметров к основной модели и позволяет автоматически дообучать ее на основе подготовленного набора данных.

Четвертый этап – запуск модели

Разработчики оценивают результат и при необходимости дорабатывают модель.

На данном этапе они больше отслеживают бизнесовые показатели. Так, типичный чат может состоять из 100 тысяч сообщений пользователей. Разработчики их анализируют и выбирают 2 тысячи лидов, которые написали сообщения, соответствующие продукту или услуге бизнеса. Затем передают эту информацию бизнесу, а сотрудники отдела продаж связываются с потенциальными клиентами и подводят их к покупке.

В определенных случаях разработчики создают AI-продукт, который может самостоятельно завершить сделку. В этом случае нейросеть генерирует сообщения клиенту, стремясь выяснить его запросы и продать продукт.

Пятый этап – оценка итогов

Происходит сравнение результатов с первоначальным запросом бизнеса. Здесь также оценивается количество и качество лидов.

Библиотеки для создания чат-ботов

Существует множество библиотек, которые можно использовать для создания чат-ботов. Эти библиотеки условно делятся на несколько категорий.

1. Библиотеки для работы с промтами. Промты – это текстовые фрагменты, которые вводятся в LLM-модели. Библиотеки предназначены для преобразования естественного языка (сообщений пользователя) в специализированные виды данных. LLM-модель конвертирует полученные данные в числа, а фреймворк выделяет эти числа из текста и предоставляет их программисту.

2. Библиотеки для создания ИИ-агентов, способных действовать автономно или в коллаборации. Они также используют текстовые описания для ввода в LLM-модели, но позволяют задавать поведение мини-ботов на более высоком уровне. Разработчику необходимо не только указать желаемый тип данных, но и предоставить боту инструменты для выполнения задачи из основного промта.

3. Библиотеки для ресерча. Предназначены для создания fine-tuning моделей с помощью инструментов DSPy и LoRA, о которых упоминалось ранее. Обычно разработчики не занимаются такими глубокими исследованиями, это задача специалистов по машинному обучению.

Как выбрать фреймворк?

При выборе программного инструмента для работы с ИИ следует учитывать несколько важных факторов.

Во-первых, необходимо оценить сложность изучения библиотеки в контексте задачи, которую предстоит решить. Некоторые фреймворки, такие как LangChain на Python, могут быть слишком сложными для простых задач: предикативная аналитика, генерация текстового и визуального контента, обучение чат-ботов и т.д. В таких случаях лучше выбрать более легкие библиотеки или фреймворки от Microsoft.

Во-вторых, обратите внимание, насколько активно поддерживается модель и как давно велась работа над ней. Эту информацию можно найти на GitHub. Если разработчики не обновляют библиотеку, то ее интеграция и поддержка отнимут у вас слишком много времени.

В-третьих, следует оценить популярность и стандартизацию инструмента. Существуют библиотеки, которые компании создают для себя и публикуют в открытом доступе. Например, PWA и LangChain – известные фреймворки для работы с промтами и LLM-моделями, которые можно считать надежными.

Если у вас небольшая IT-команда, то выбирайте более стандартизированные и отлаженные инструменты для работы с AI-технологиями.

Команда AI-специалистов

Размер IT-команды зависит от сложности ИИ-проектов. Для прикладных решений с небольшой fine-tuning-моделью хватит пяти человек, которые смогут программировать поведение чат-ботов с помощью известных библиотек. В этом случае не нужны узкие ML-специалисты, так как вы применяете готовые LM-модели через API крупных IT-компаний.

Для развертывания LM-моделей на своих мощностях потребуется команда из 20 разработчиков и собственная технологическая база (дата-центры, серверы). Обычно это компании, предоставляющие другим разработчикам доступ к своим библиотекам и фреймворкам.

Для глубокой технической экспертизы в LM-разработке нужна команда из 50-100 специалистов машинного обучения, которые разбираются в архитектуре модели и могут ее дообучать. Это, как правило, вертикально-интегрированные компании, создающие модели с нуля.

Разработка собственного ИИ дает бизнесу инструмент лидогенерации, который полностью учитывает особенности его продукта и запросы клиента и, соответственно, повышает эффективность продаж.