Корпоративный поиск – единая точка доступа к знаниям компании

Заказчик
ПАО "Газпром нефть"
Руководитель проекта со стороны заказчика
ИТ-поставщик
Газпромнефть – Цифровые решения
Год завершения проекта
2021
Сроки выполнения проекта
Октябрь, 2018 - Ноябрь, 2021
Масштаб проекта
70000 автоматизированных рабочих мест
Цели

Цель проекта – повысить эффективность управления знаниями, накопить и развить экспертный потенциал компании путем предоставления единого окна доступа к данным и создания новых сценариев работы с контентом.

Задачи:

- Упрощение процессов поиска информации и ускорение доступа к данным, контенту и внутренним сервисам;

- Сохранение и обмен накопленными знаниями в компании, агрегация лучших практик и экспертизы для повышения операционной эффективности.

- Сокращение затрат на разработку локальных семантических и поисковых систем за счет создания централизованной платформы.

Уникальность проекта

Корпоративный поиск – стратегически важный для компании инструмент, необходимый для реализации принципа демократизации данных и создания единого окна доступа к данным. Отсюда сотрудники получают возможность в несколько кликов попадать в каталог данных, находить аналитику, критичные для работы сервисы и официальные документы. Корпоративный поиск – уникальная единая точка доступа к накопленным внутренним знаниям и экспертизе, формирующая в компании новый сценарий работы с информацией и данными. Внедрение технологии семантической обработки и кластеризации данных позволяет реализовать вычислительное смысловое индексирование текстов на естественном языке. В результате автоматически формируется модель семантики отдельных документов, достоверно характеризующая тематику и содержание проанализированных информационных ресурсов.
Проект решает задачи импортозамещения
Нет
Использованное ПО

Разработка:

бэкенд: Scala, Java, Python

фронтенд: ReactJS,

БД: PostgreSQL, MongoDB

Поиск: ElasticSearch

Анализ данных и языка: Apache Spark, Tika, Tesseract OCR, CRF, rule-based over LSA

Семантическая обработка: LSH, LSA, Word2vec, doc2vec/paragraph2vec

Сложность реализации
А) Необходимость предобработки, унификации и систематизации большого объема разноструктурированных данных; Б) Поддержка универсального интерфейса взаимодействия для быстрого подключения новых систем. В) Большой организационный объем по выстраиванию коммуникаций и синхронизации разработки с командами систем-источников. Г) Комплексная ролевая модель доступа к данным с наследованием от систем-источников. Д) Необходимость постоянной актуализации стека, в связи с развитием технологий обработки текстов, оптимизация серверных мощностей и архитектуры решения.
Описание проекта

Корпоративный поиск использует алгоритмы семантического анализа текстов, инструменты интеллектуализации и обработки естественного языка для обеспечения быстрого доступа пользователей к нормативной информации, новостям, сервисам или контактам сотрудников.

Платформа является внутренней разработкой. Предоставляет API для встраивания в другие системы.

Количество уникальных пользователей Корпоративного поиска – 33 тыс. (каждый третий сотрудник хотя бы раз заходил в поиск), общее количество поисковых запросов пользователей превысило 640 тысяч. На текущий момент проиндексировано и доступно в поиске более 14 миллионов документов (различных форматов, специфики и назначения) из 40 информационных систем, включая внешние источники.

В результаты выполнения проекта обеспечен поиск по различным по структуре и контенту данным:

- структурированные и неструктурированные: нормативные документы, проектная документация, статьи и т.д.;

- текстовые файлы различных форматов, в том числе сканы;

- разные типы объектов: документы, сотрудники, аналитические приложения (BI) и т.д.

Поисковая платформа выступает базисом для развития специализированных экспертных подсистем анализа контента.

Ключевой KPI проекта – сокращение времени на поиск информации во внутренних и специализированным внешних источниках компании. Подтвержденный эффект – сокращение времени на поиск информации на 55% (по сравнению со стандартными способами поиска информации).

География проекта

Все регионы присутствия компании

Коментарии: 5
  • Михаил Петров
    Рейтинг: 806
    Счетная палата Российской Федерации
    Директор департамента цифровой трансформации
    15.11.2021 19:13

    кто отвечает за пополнение базы документов?

  • Наталья Третьякова
    Рейтинг: 809
    Газпром нефть, ПАО
    Начальник управления организации работы с данными БЭФ
    23.11.2021 13:14

    Михаил, добрый день!

    Корпоративный поиск является агрегатором информации из корпоративных источников и пополнение каждого источника, которое происходит в рамках его жизненного цикла, все создаваемые объекты и документы источников ежедневно индексируются Корпоративным поиском и попадают в общий пул документов, доступных в поиске пользователям.

    • Михаил Петров Наталья
      Рейтинг: 806
      Счетная палата Российской Федерации
      Директор департамента цифровой трансформации
      23.11.2021 15:25

      понял, спасибо за ответ!

  • Наталья Зуева
    Рейтинг: 423
    SPLAT GLOBAL LLC
    CIO
    21.12.2021 12:15

    Наталья,добрый день.
    С какими системами связан ваш портал? Сложно ли было интегрировать различные базы данных технически и методологически.

  • Наталья Третьякова
    Рейтинг: 809
    Газпром нефть, ПАО
    Начальник управления организации работы с данными БЭФ
    09.01.2022 14:54

    Наталья, добрый день.
    Спасибо за ваш вопрос!

    Корпоративный поиск объединяет источники данных, информационные системы и каталоги, аналитические отчеты, хранилища структурированной и неструктурированной информации.

    На данный момент с Корпоративным поиском интегрировано более 35 информационных систем (сетевые папки, общекорпоративные источники: система электронного документооборота, система внутренних НМД, система распространения знаний, корпоративная wiki, новостные порталы дочерних обществ, порталы идей и инициатив и др., так и узкопрофильные: например, база гео-данных и исследований и внешние юридические и нормативные базы (Техэксперт).

    Каждая интеграция индивидуальна, подход к реализации интеграции зависит от системы-источника.
    Варианты реализации интеграций следующие:
    - Использование стандартных коннекторов источника (в случае наличия) или реализация источником веб-сервиса по правилам Корпоративного поиска
    - Реализация внешнего API Корпоративного поиска для встраивания в информационные системы/порталы
    - Реализация методов API Корпоративного поиска для получения специфических данных

Год
Предметная область
Отрасль
Управление