Sberspace – мультиагентный AI-эксперт по производственному процессу

Цель проекта

Предоставить 4000 командам инструмент, с помощью которого они в привычной рабочей среде смогут получать ответы на вопросы по базе знаний, содержащей около 50 000 технических документов, описывающих процессы, требования и стандарты разработки цифровых продуктов.

Проблемы

1. Экспоненциальный рост информации

• Объем данных, необходимых инженерам, ежегодно увеличивается на 30—40%

• 60% команд ежемесячно пересматривают свои базы знаний для соответствия новым требованиям

2. Постоянная необходимость обучения

• Ежегодное освоение 4-5 новых фреймворков

• До 25% рабочего времени тратится только на обучение

• 44% специалистов признают нехватку времени для развития новых навыков

Решение

Мы создаем AI-эксперта, который:

• Компенсирует недостаток экспертизы в команде;

• Работает для расширения знаний сотрудников;

• Обеспечивает поддержку там, где возникает проблема;

• Умеет отвечать по структурированным данным (метрикам, требованиям, задачам).

За год аудитория проекта выроста в 2 раза, а количество запросов в 6 раз.

MAU: 10,5 тысяч

Запросов за месяц: 36 000

Экономия времени на 1 запрос рассчитывается как разница между временем необходимым при использовании обычного поиска в cравнении с ответами AI-ассиcтента: от 10 до 15 минут (для расчета взяты 12,5 минут основываясь на мета-исследовании Stack Overflow Developer Survey по разработчикам в крупнейших IT-компаниях и их использовании экспертных систем с AI: https://survey.stackoverflow.co/2023/)

Техники работы с LLM:

Reasoning & Action

Chain of Thought

Structured Output

Text 2 SQL + Object Graph

Schema Guided Reasoning

Dynamic Few-shot

Contextual Chunking

Question-based RAG

Модели:

планирование: GigaChat2 Reasoning

генерация: GigaChat2

эмбединги: multilingual-e5

реранкинг: BGE-M3

классификация: набор дообученных моделей на основании BERT

Сложность проекта определяется спецификой и объемом обрабатываемой информации.

Для ответов агента по документации используются свыше 15 000 документов из 14 различных подразделений, организованные в более чем несколько сотен доменов знаний.  

Для ответов агента по артефактам производственного процесса используются индексы, насчитывающие более пяти миллионов объектов: задачи, команды, сотрудники, значения метрик.

Разнородность данных и разнообразие атрибутивного состава артефактов требует использования сложных пайплайнов подготовки и обработки данных, решений по хранению и обновлению информации.

Sberspace — одно из самых технологически сложных решений среди систем на основе LLM в Сбере.

Ключевые возможности:

• Возможность работы агента как с неструктурированными документами (инструкциями) с помощью RAG, так и с структурированными данными (объекты и артефакты производственного процесса: сотрудники, задачи, команды, релизы, метрики и т.д.) с помощью Text2SQL.

• Возможность использования визуальной модальности — способность строить эмбеддинги на основе изображений (при индексации, либо в запросе пользователя) и оперировать этими данными для генерации ответов.

• Возможность рассуждать, планировать действия и динамически корректировать план, реализованная на основе фреймворка ReAct, цепочек рассуждения Chain of Thought и Structured Output.

• Возможность встраивания интерфейса системы на любую поверхность с помощью технологии микрофронтов и SDK разработчика для быстрой интеграции с агентом через API.

• Возможность настройки агента для работы с любым списком источников, адаптировать решение под специфику и документацию любого подразделения.

Россия