• 331

    Опубликовано проектов

  • 171

    Оставлено комментариев

Рейтинг рассчитывает взвешенные оценки. Система динамически пересчитывает показатели при каждом новом голосе, учитывая весовые коэффициенты и мультикритериальную оценку. В ближайшие две недели еще будут публиковаться новые проекты, которые сейчас заканчивают верификацию. Текущее значение рейтинга может демонстрировать нелинейную динамику.

← Вернуться к списку

Локальный ИИ как шлюз безопасного использования внешних LLM

  • Руководитель проекта со стороны заказчика

    Александр Яшкин

    R4S

    Директор по ИТ

  • Категория

  • Номинация

  • Цели

    Cоздать локальный ИИ‑шлюз как единый контролируемый слой для доступа к облачным LLM. Он решает три ключевые задачи:

    • Безопасность и соответствие требованиям: фильтрует запросы и ответы, предотвращает утечки чувствительных данных.

    • Контроль затрат и эффективность: распределяет нагрузку между моделями по стоимости и качеству, применяет кэширование, задаёт квоты по пользователям и сервисам.

    • Гибкость и отказоустойчивость: маршрутизирует запросы по уровню чувствительности данных, автоматически переключается на локальные модели при недоступности облачного провайдера для всех внутренних сервисов.

    Такой шлюз позволяет безопасно и экономично использовать облачные LLM, сохраняя критичные данные в закрытом контуре.

  • Сроки выполнения

    сентябрь, 2026 — ноябрь, 2026
  • Год завершения проекта

    2026

  • Масштаб проекта

    350 автоматизированных рабочих мест
  • Результаты

    • Безопасность и соответствие нормам: чувствительные данные остаются в закрытом контуре, семантический анализ блокирует утечки и prompt‑инъекции.

    • Контроль затрат: кэширование, квоты по пользователям и умная маршрутизация на более дешёвые модели снижают и делают предсказуемыми расходы на LLM.

    • Стабильность работы: Локальные модели сохраняют доступность сервиса при сбоях облачных провайдеров.

  • Уникальность проекта

    Гибридный подход локального AI‑шлюза:

    • Разделение данных по контуру: чувствительная информация обрабатывается локально или обезличивается по возможности, остальное идёт в облако — так соблюдаются требования ИБ.

    • Семантическая защита: шлюз анализирует промпт и ответ, выявляя попытки инъекций, и блокирует утечки до отправки в облачную LLM.

    • Умная маршрутизация: запрос автоматически направляется к подходящей модели по правилам (тип задачи, критичность данных, стоимость, доступность) или на локальную модель при сбое облака.

    • Сквозной контроль: квоты, учёт токенов по пользователям, кэширование и детальные метрики помогают управлять затратами и нагрузкой.

    Такой шлюз объединяет безопасность, гибкость и экономичность . В готовых решениях эти функции редко собраны вместе.

  • Использованное ПО

    Агент(шлюз):

    4 ядра CPU .

    8 ГБ оперативной памяти (ОЗУ).

    80 ГБ жёсткого диска (HDD).

    Локальный AI:

    8 ядер CPU.

    12 ГБ оперативной памяти (ОЗУ).

    150 ГБ жёсткого диска (HDD).

    Видеокарта: NVIDIA L40S-16Q

  • Решение из каталога Global CIO

    В проекте не используются решения из каталога Global CIO

  • Сложность реализации

    Высокая сложность обусловлена интеграцией разнородных компонентов:

    • Семантическая защита данных — детекция prompt‑инъекций требует настройки моделей классификации и регулярного обновления правил; высокий риск ложных срабатываний.

    • Маршрутизация запросов — нужно описать правила выбора модели (тип задачи, критичность данных, стоимость, доступность) и реализовать логику без потери контекста запроса.

    • Кэширование и квоты — семантический кеш и учёт токенов по пользователям требуют продуманного хранилища и синхронизации.

    • Инфраструктура и безопасность — развёртывание в закрытом контуре.

  • Описание

    Локальный AI‑шлюз как точка доступа к облачным LLM

    Проект создаёт централизованный гибридный слой на базе локального ИИ — единую точку входа для внутренних сервисов, чтобы безопасно и экономично использовать облачные языковые модели.

    Что делает система:

    • Принимает запросы сотрудники не зависят от конкретного провайдера или типа модели.

    • Анализирует контент: автоматически выявляет персональные данные, попытки инъекций и блокирует передачу чувствительной информации в облако.

    • Маршрутизирует запросы: по правилам (тип задачи, уровень критичности данных, стоимость, доступность) выбирает локальную модель либо облачную LLM; при сбое облака переключается на резерв.

    • Контролирует расходы: квотирует токены и запросы по пользователям применяет кэширование, подбирает оптимальную по цене и качеству модель под задачу.

  • География проекта

    Россия

Комментировать

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Заказчик

    R4S

Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.