Как сократить стоимость агентной автоматизации за счет гибридной архитектуры

Демонстрация решений для автоматизации бизнес-процессов с применением ИИ-агентов может выглядеть довольно эффектно. Однако при принятии решения о внедрении на первый план выходит экономическая целесообразность и, в конечном счете, стоимость. Бизнесу важно, чтобы автоматизация обходилась дешевле работы, которую она заменяет. При массовом выполнении операций добиться этого непросто из-за затрат на вычислительные ресурсы. Эксперт ИИ-разработчика Content AI Антон Хаймовский рассказал, как выбор архитектуры влияет на стоимость и производительность агентной автоматизации.

Что увеличивает стоимость агентной автоматизации

Выбирая между вариантами ИИ-автоматизации – ассистентами, выполняющими отдельные поручения сотрудника, или агентами, способными самостоятельно выбирать инструменты для решения задачи и запускаться по событию или расписанию, – заказчики сегодня склоняются к более сложной автоматизации. Это подтверждает исследование Content AI на основе интервью с представителями крупного бизнеса. Компания провела более 50 бесед с ИТ-директорами, руководителями цифровой трансформации, автоматизации и информационной безопасности организаций из финтеха, промышленности, телекома и ритейла.

«Мы отмечаем, что компании видят пользу от ИИ-ассистентов, но ждут более заметного влияния ИИ на операционные процессы. Им важно передать системе рутинные операции и подключать сотрудника преимущественно для обработки исключений», – говорит Антон Хаймовский, главный владелец продукта в Content AI.

Однако автономность обходится недешево. Выполнение агентных сценариев требует обращений к языковым моделям, которые могут сопровождаться передачей контекста, описаний инструментов и истории взаимодействий. Все это увеличивает объем обрабатываемой информации и потребность в вычислительных ресурсах. В конечном счете, чем больше операций система выполняет без постоянного участия сотрудника, тем выше стоимость каждого запуска.

Значимую роль в экономике проекта играет и локальное развертывание ИИ-решений, принципиально важное для большинства крупных российских организаций. Собственный контур позволяет контролировать доступ к корпоративным данным, но расходы на инфраструктуру кратно увеличивают стоимость проектов агентной автоматизации.    Помимо закупки оборудования, в экономической модели проекта необходимо учитывать затраты на его эксплуатацию, резервирование, возможность вести параллельную обработку запросов и запас производительности на пиковую нагрузку. Объем необходимых ресурсов зависит также от используемых моделей, размера контекста, допустимого времени обработки и требований к отказоустойчивости.

По расчетам Content AI, оборудование для реализации сценария из 6–10 агентных шагов при частоте более 3000 запусков в месяц в закрытом контуре может стоить 10–20 млн рублей. Если же компания планирует масштабировать автоматизацию и расширять перечень сценариев, затраты будут расти – причем не линейно, а экспоненциально, поэтому бюджет на «железо» в 80-100 млн рублей вполне реалистичен.

В текущих сложных финансово-экономических условиях и при нехватке оборудования немногие компании могут позволить себе такой подход.

Как гибридная архитектура снижает вычислительную нагрузку

Снизить число обращений к языковым моделям можно за счет распределения операций между агентами и другими инструментами автоматизации. Рассмотрим этот принцип на примере обработки входящего счета на оплату. При полностью агентном подходе каждому этапу можно назначить отдельного агента:

• для чтения письма
• классификации документа
• извлечения реквизитов
• поиска договора
• проверки контрагента и бюджета
• подготовки итогового заключения.

Такая схема хорошо демонстрирует возможности технологии, однако для обработки одного документа шесть отдельных агентов точно избыточны.

В другом варианте распознавание текста может выполняться средствами OCR, а классификация документов и извлечение данных из файлов XML, CSV, Excel или PDF – средствами IDP. Проверку реквизитов в корпоративной системе и перенос финансовых данных в другую систему можно выполнять по установленным правилам. Все эти инструменты даже при высокой нагрузке функционируют на CPU и не требуют GPU.

Языковую модель целесообразно подключать к задачам смыслового анализа, например сопоставлению предмета счета с предметом договора или выявлению противоречий. Также модель можно использовать для обработки более сложных документов: фотографий, рукописного текста, объемных таблиц и сканов низкого качества, когда классические методы не обеспечивают нужный результат. На этом принципе и строится гибридная архитектура.

Антон Хаймовский, главный владелец продукта, Content AI: «Наш опыт высоконагруженных проектов определил один из важнейших критериев оценки агентных решений – способность выполнять процессы на целевой нагрузке при экономически оправданных расходах. На этапе разработки и первых пилотов Content AI анализировала, какие задачи целесообразно поручать агентам и где обращения к моделям можно заменить более простыми механизмами. Итогом этих наблюдений стала реализация трех различных подходов к автоматизации внутри нашей платформы автоматизации и оркестрации бизнес-процессов: классический сценарий на основе программных роботов и скриптов, гибридный сценарий с применением скриптов и ИИ-агентов, а также полностью агентный».

Чтобы оценить, как распределение операций между инструментами влияет на вычислительную нагрузку, Content AI сравнила в локальном контуре два варианта обработки документов: с участием LLM/VLM почти на каждом шаге и с распределением операций между OCR/IDP, скриптами и агентами.

«По нашим замерам, сочетание классического OCR/IDP, скриптов и агентов позволило снизить среднюю утилизацию GPU на 60–90% по сравнению с вариантом, в котором LLM и VLM участвуют почти на каждом шаге. При этом среднее время обработки сценария сократилось с 15 минут до чуть менее 4 минут», – приводит результаты Антон Хаймовский.

Масштаб эффекта зависит от состава потока и сложности операций. Чем больше типовых документов и формальных проверок можно обрабатывать без языковых моделей, тем заметнее снижение нагрузки. Если преобладают сложные сканы, нестандартные документы и задачи смыслового анализа, потребность в LLM/VLM возрастает. Поэтому результаты необходимо проверять на данных и нагрузке конкретного заказчика.

Как управлять вычислительными ресурсами при масштабировании

При увеличении числа запусков значение приобретает и организация процесса. В гибридной архитектуре обработку документов и агентные операции можно масштабировать независимо, а потоком запросов управлять с помощью очередей. Это позволяет отдельно учитывать нагрузку на разные компоненты системы.

Дополнительные возможности дает выбор моделей под конкретные операции. По словам Антона Хаймовского, для относительно простых задач можно использовать более компактные модели, если они обеспечивают необходимое качество. Ресурсоемкость также зависит от управления контекстом: модели передаются только необходимые для данного этапа данные.

При новом внедрении сокращение нагрузки на GPU может уменьшить необходимую конфигурацию оборудования. Если инфраструктура уже существует, высвободившиеся ресурсы можно направить на другие операции.

Как снизить трудоемкость разработки сценариев

Сокращение потребности в оборудовании – лишь одна составляющая экономики гибридной архитектуры. Поскольку часть задач в ней выполняют скрипты и интеграции, важно учитывать трудозатраты на их создание. Один из способов сократить трудоемкость этой работы – использовать ИИ-агента для подготовки сценариев и кода.

В платформе автоматизации и оркестрации бизнес-процессов от Content AI предусмотрен механизм, с помощью которого агент по техническому заданию или инструкции для сотрудника формирует последовательность шагов и пишет код. Он помогает создавать сценарии обработки документов средствами IDP, интеграции с внешними системами и агентов для задач, требующих понимания содержания, например анализа письма с подготовкой ответа или формирования периодической сводки.

Если в процессе обработки счета требуется проверить, не превышает ли его сумма остаток бюджета по статье, агент формирует скрипт для обращения к API бюджетной системы, получения нужных полей и сравнения значений. При недостатке информации он запрашивает уточнения. После разработки шага или сценария агент генерирует и запускает тесты и проверяет код линтером.

Генерация кода ускоряет подготовку сценариев, но не исключает ошибок моделей. Поэтому результаты разработки требуют проверки, а после запуска процесса необходим контроль действий самих агентов. «Для управления рисками модели целесообразно рассматривать как инженерный компонент, способный давать сбои. По аналогии с интеграцией внешних сервисов здесь требуются проверка данных, разграничение прав, журналирование и мониторинг», – предупреждает Антон Хаймовский. Выполнение операций должно проходить через инфраструктуру бизнес-процесса с установленными ролями, политиками доступа и проверкой параметров; для отдельных действий предусматривается участие человека.

Пять вопросов перед запуском пилота

Потребность в вычислительных ресурсах, затраты на разработку сценариев и требования к контролю зависят от конкретного процесса. Поэтому оценивать целесообразность выбранной архитектуры необходимо на целевой нагрузке. Для этого еще до пилота важно определить исходные показатели, требования и ограничения, а в ходе испытаний измерить качество результата, используемые ресурсы и стоимость операции.

1. Есть ли достаточный поток операций, и кто владелец процесса?

Наиболее подходящие сценарии – массовая обработка счетов, договоров, актов, обращений, коммерческих предложений и запросов регуляторов.

2. Как измерять экономический эффект?

До внедрения следует зафиксировать стоимость одной операции, трудозатраты, время обработки, целевой SLA, частоту ошибок и долю исключений.

3. Какие этапы действительно требуют анализа содержания?

Необходимо выделить операции, где нужно интерпретировать смысл документа, сопоставлять сведения или готовить обоснованное заключение по нестандартной ситуации. Остальные шаги стоит оценить на возможность выполнения по правилам, скриптами и через API.

4. Какие действия требуют ограничения полномочий?

Для платежей, отправки документов внешним адресатам, изменения критичных данных и принятия юридически значимых решений следует установить отдельные правила доступа и при необходимости предусмотреть подтверждение человеком.

5. Как оценивать качество на реальном потоке?

В ходе пилота важно измерять долю автоматической обработки, количество исключений, время и качество выполнения операций, нагрузку на GPU, стоимость обработки и фактический эффект для владельца процесса.

«Анализируя результаты проведенных пилотов с применением гибридной архитектуры (OCR/IDP+скрипты+языковые модели), мы фиксируем интерес заказчиков к использованию этого подхода для автоматизации других процессов. При этом определяющим остается соотношение затрат и эффекта при целевой нагрузке. Чем точнее разделены задачи, требующие интеллектуального анализа, и операции с формальными правилами, тем больше возможностей контролировать потребление вычислительных ресурсов, время обработки и стоимость автоматизации», – резюмирует Антон Хаймовский.