Корпоративная платформа ИИ-агентов и защищённый контур работы с LLM

Создать единый корпоративный контур для использования больших языковых моделей и ИИ-агентов вместо подключения каждого нового AI-сервиса по отдельной схеме. Платформа должна обеспечить централизованный доступ к моделям, разграничение прав, работу с внутренними системами и данными, контроль передаваемой информации и возможность быстро запускать новые агентные сценарии. Цель — сделать ИИ общей корпоративной технологией, которой могут пользоваться разные подразделения, а не набором разрозненных экспериментов.

Сформирован единый технологический контур для корпоративных ИИ-сервисов и агентных приложений. Разделены уровни пользовательских приложений, агентной логики, доступа к LLM и выполнения инструментов. Обеспечена возможность использовать несколько моделей через единый API и независимо развивать пользовательские решения. Платформа стала основой для развёртывания корпоративных ИИ-агентов и позволяет подключать новые сценарии без создания отдельной инфраструктуры для каждого проекта. Предусмотрено централизованное управление доступом, безопасностью и подключением внутренних систем.

В основе платформы используются DeerFlow, LiteLLM Gateway и vLLM для предоставления моделей через единый API. Для локального инференса используются GPU-серверы корпоративного контура, предусмотрено подключение облачных GPU-ресурсов для моделей с более высокими требованиями. Реализуется интеграция с AD/LDAP и корпоративным SSO. В контур входят механизмы маскирования персональных данных, контроля секретов, sandbox-среды для агентов, API и коннекторы к корпоративным системам. Развёртывание сервисов выполняется в изолированной инфраструктуре компании.

Основная сложность проекта связана не с запуском самой LLM, а с созданием промышленного мультипользовательского контура вокруг неё. Требовалось обеспечить одновременную работу нескольких моделей и агентов, управление GPU-ресурсами, маршрутизацию запросов, корпоративную авторизацию, изоляцию пользовательских сред и безопасный доступ к внутренним системам. Отдельной задачей стало предотвращение передачи персональных данных, паролей, ключей и другой чувствительной информации во внешние модели при сохранении возможности использовать такие данные внутри корпоративных инструментов.

Пользователь ставит задачу ИИ-агенту обычным языком. Платформа передаёт запрос через единый LLM-шлюз, применяет политики безопасности и выбирает доступную модель. Если для выполнения задачи нужны данные или действия, агент использует разрешённые инструменты и корпоративные коннекторы. За счёт этого одна инфраструктура может поддерживать разные сценарии: работу с документами и данными, поиск информации, подготовку материалов, создание специализированных агентов и автоматизацию действий во внутренних системах. Новые AI-сервисы подключаются к уже существующему общему контуру.

Платформа разворачивается централизованно в корпоративном ИТ-контуре и предназначена для использования сотрудниками подразделений ПЭК независимо от их территориального расположения. Пользователю не требуется локально устанавливать или запускать языковую модель: доступ к вычислительным ресурсам, моделям и корпоративным инструментам предоставляется через единый сервис. Такая архитектура позволяет постепенно подключать к ИИ-сценариям сотрудников и подразделения компании по всей России.