Когда хочется ChatGPT, но нельзя: как и зачем крупной компании использовать LLM
ИТ-компания «ВейвАксесс» нашла способ полноценно и без рисков использовать возможности больших языковых моделей в ИИ-проектах, обходя подводные камни и обеспечивая безопасность данных. Делимся опытом коллег.
Буквально за полтора года большие языковые модели (LLM) стали одним из самых обсуждаемых инструментов в сфере искусственного интеллекта (ИИ). С их помощью общаются с покупателями, создают контент и даже пишут код. Бизнес, который раньше даже не смотрел в сторону разработки решений с ИИ, видит в больших языковых моделях новую возможность.
Но там, где открываются возможности, рождаются риски. Большие языковые модели — это «черный ящик»: они забывают контекст, отвечают невпопад и в итоге пессимизируют бизнес-процессы. И проблемы LLM лишь наслаиваются на те сложности, которые характерны для любых проектов с ИИ.
Бизнес интересуется потенциалом LLM, но в итоге обнаруживает, что извлечь прибыль из больших языковых моделей не так просто. Чтобы осуществить интересный проект (например, разработать ИИ для оптимизации конкретного процесса), в LLM необходимы серьезные интеллектуальные и финансовые вложения.
Для уникального результата потребуются уникальные данные, которые накопил ваш бизнес. Нужны специалисты в области Data Science и промпт-инженеры. Эти люди смогут подготовить данные, позаботиться о приватности и избавить модель от галлюцинаций. Необходимы и те, кто сможет грамотно встроить новый инструмент в вашу инфраструктуру.
Кажется, что при этих условиях проще доверить LLM корректуру ошибок в тексте, чем что-то, имеющее большую бизнес-ценность. Однако появление российских проектов, полноценно использующих LLM, вполне возможно.
К нам обратился клиент (производственная компания из Forbes-2000), который заходил на российский рынок с новым брендом оборудования для геймеров. Компании необходимо было проанализировать эффективность поддержки пользователей. От качества работы техподдержки зависело то, сможет ли новый бренд надежно закрепиться на рынке. И это были настоящие живые диалоги с вопросами в свободной форме, для оценки которых точно требуется ИИ.
В кейсе, которым мы хотим поделиться, есть все «любимые» челленджи проектов с ИИ:
- Структурировать и обработать алгоритмами живую письменную речь, чтобы создать кастомное решение
- Необычное использование LLM в качестве вспомогательного инструмента для первичной разметки данных, необходимой перед обучением ИИ
- Ожидания по приватности: персональные данные пользователей из РФ нельзя передавать ни в какой сторонний сервис, находящийся за рубежом
- Промпт-инжиниринг
- Возможность интеграции полученной модели в корпоративное ПО
- Не менее амбициозное желание успеть все это за месяц.
Забегая вперед, скажем, что нам удалось решить задачу за счет гибридного подхода: ИИ-платформа ValueAI для обезличивания диалогов и безопасного обращения к ChatGPT, сама LLM для разметки данных, а затем снова ValueAI для проверки этой разметки и уже непосредственно разработки кастомного ИИ. По итогу заказчик смог найти узкие места в своей техподдержке, обновил FAQ на сайте и в перспективе разработает чат-бота, «заточенного» на частые вопросы.
* Я согласен (согласна) на передачу данных моего профайла партнеру проекта
