WatchDog - автоматизация контроля инфраструктуры и операций Day2

Формализовать паттерны сопровождения Инфраструктуры, Надежности, ИБ, Архитектуры в формате регулярного контроля чек-листов. С возможность отслеживать в динамике изменения для Стримов, ИС, критичностей в отдельном разделе “Тепловая Карта”.

Реализовать сервис предсказания по объему БД, сервис сравнения конфигураций (включая структуру БД), сервис запрета DDL-изменений, сервис Контроля Второй Рукой (КВР).

Упростить формирования отчётностей по отклонениям, с возможностью нотификации и автоматизации приведения к эталонным значениям.

Автоматизировать типовые задачи сопровождения (Day1\Day2), минимизировать риски ручных операций, включая контроль по зонтичным проблемам и рискам.

Создать инструмент run-time анализа для СУБД PostrgreSQL, “по примеру” activity monitor. 

С возможностью формирования awr-отчетов, выдачей рекомендаций по настройкам\запросам\структуре.

2025

• 17 продуктов на поддержке

• 1730 собираемых параметров

• Более 50000 экземпляров СУБД и СП на контроле

• Более 30 готовых отчетов

• Более 2000 уникальных пользователей

Astra Linux, React, GoLang, Python, PostgreSQL, Kafka, Redis, ClickHouse, Ansible

В проекте не используются решения из каталога Global CIO

• Необходимость менять сознание. То, что казалось хорошей работой на протяжении 4-5 лет, с развитием систем и ростом объектов на поддержке, просто перестает таковым быть.

• Коллег зачастую трудно убедить в необходимости внедрения перемен, для которых, к тому же, должны быть готовы процессы.

• Модернизации занимают намного более длительное время, чем сама разработка.

• Легаси, адаптация под множество сегментов, требования ИБ.

Сервис WatchDog (включая весь инструментарий) – прежде всего, закрытие нужд и потребностей dba, которые ежедневно выполняют типовые операции, решают инциденты, участвуют в ПСИ. Созданный dba для dba, прошедший путь от “БД инвентаризации” до полноценного “Портала” Надежности, ИБ, Архитектуры, представляет собой регулярный сбор всех параметров, их обработку (включая вычисления), вывод в удобный интерфейс. С  возможностью “брать в работу”, “принимать в исключения”, настройками оповещений.

WatchDog начинал с охвата только по MS SQL и PostgreSQL, в 100 суммарных проверок.

На данный момент закрыт весь целевой стек VTB.Cloud (17 продуктов, 1730 проверок). Это не только СУБД, но и Сервера Приложений.

Каждый ответственный за продукт максимально заинтересован в наполнении своего шаблона. Формирование такой культуры  - это долгий и не всегда очевидный путь. 

Сбор происходит через “сервис-сборщика”, написанный на pyton. Есть возможность агентского сбора. Регулярность определяет ответственный за продукт в компании.

На основании собранных данных и выявления расхождений по Шаблонам (могут быть разные, в зависимости от критичности ИС, типов нагрузки, принятых исключениях (реализовано на стороне сервиса), информация выводится в раздел Тепловой Карты и, по принятому процессу, ведутся работы по устранению. Тем или иным подразделением, в чьей зоне ответственности отклонение. Согласно критичности параметра, контроль проходит несколько стадий (особенно актуально для допущения ИС к HS).

Возможность иметь актуальные данные, без прямого захода на сервера – в разы сокращает нагрузку на dba, минимизирует человеческий фактор.

Развитие подобного подхода дает импульс к еще большему упрощению типовых операций, недопущению инцидентов.

Сценарии автоматизации по типовым операциям, отчеты, возможность строить прогнозы (отдельный модуль предсказаний) по росту БД – очевидные шаги, призванные  упрощать и не нести дополнительные траты на поддержку, при росте серверов

В Шаблонах и проверках, как очевидные параметры, так и те, которые рекомендует вендор, из-за которых были инциденты. 

В дефиците или полном отсутствии инструментов анализа для СУБД PostgreSQL был создан и внедрен модуль PGAM.

С аналогичной WatchDog “идеологией”, упрощения жизни dba. На одной страничке любой мог получить моментальный анализ состояния работы экземпляра СУБД.

Сейчас это и рекомендации и возможно ретроспективы, с интегрированным расширением построения awr-отчетов.

Российская Федерация