Когда хочется ChatGPT, но нельзя: как и зачем крупной компании использовать LLM

Когда хочется ChatGPT, но нельзя: как и зачем крупной компании использовать LLM

ИТ-компания «ВейвАксесс» нашла способ полноценно и без рисков использовать возможности больших языковых моделей в ИИ-проектах, обходя подводные камни и обеспечивая безопасность данных. Делимся опытом коллег.

Буквально за полтора года большие языковые модели (LLM) стали одним из самых обсуждаемых инструментов в сфере искусственного интеллекта (ИИ). С их помощью общаются с покупателями, создают контент и даже пишут код. Бизнес, который раньше даже не смотрел в сторону разработки решений с ИИ, видит в больших языковых моделях новую возможность.

Но там, где открываются возможности, рождаются риски. Большие языковые модели — это «черный ящик»: они забывают контекст, отвечают невпопад и в итоге пессимизируют бизнес-процессы. И проблемы LLM лишь наслаиваются на те сложности, которые характерны для любых проектов с ИИ.

Бизнес интересуется потенциалом LLM, но в итоге обнаруживает, что извлечь прибыль из больших языковых моделей не так просто. Чтобы осуществить интересный проект (например, разработать ИИ для оптимизации конкретного процесса), в LLM необходимы серьезные интеллектуальные и финансовые вложения.

Для уникального результата потребуются уникальные данные, которые накопил ваш бизнес. Нужны специалисты в области Data Science и промпт-инженеры. Эти люди смогут подготовить данные, позаботиться о приватности и избавить модель от галлюцинаций. Необходимы и те, кто сможет грамотно встроить новый инструмент в вашу инфраструктуру.

Кажется, что при этих условиях проще доверить LLM корректуру ошибок в тексте, чем что-то, имеющее большую бизнес-ценность. Однако появление российских проектов, полноценно использующих LLM, вполне возможно.

К нам обратился клиент (производственная компания из Forbes-2000), который заходил на российский рынок с новым брендом оборудования для геймеров. Компании необходимо было проанализировать эффективность поддержки пользователей. От качества работы техподдержки зависело то, сможет ли новый бренд надежно закрепиться на рынке. И это были настоящие живые диалоги с вопросами в свободной форме, для оценки которых точно требуется ИИ.

В кейсе, которым мы хотим поделиться, есть все «любимые» челленджи проектов с ИИ:

  • Структурировать и обработать алгоритмами живую письменную речь, чтобы создать кастомное решение
  • Необычное использование LLM в качестве вспомогательного инструмента для первичной разметки данных, необходимой перед обучением ИИ
  • Ожидания по приватности: персональные данные пользователей из РФ нельзя передавать ни в какой сторонний сервис, находящийся за рубежом
  • Промпт-инжиниринг
  • Возможность интеграции полученной модели в корпоративное ПО
  • Не менее амбициозное желание успеть все это за месяц.

Забегая вперед, скажем, что нам удалось решить задачу за счет гибридного подхода: ИИ-платформа ValueAI для обезличивания диалогов и безопасного обращения к ChatGPT, сама LLM для разметки данных, а затем снова ValueAI для проверки этой разметки и уже непосредственно разработки кастомного ИИ. По итогу заказчик смог найти узкие места в своей техподдержке, обновил FAQ на сайте и в перспективе разработает чат-бота, «заточенного» на частые вопросы.

* Я согласен (согласна) на передачу данных моего профайла партнеру проекта

605

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.