Строительство ЦОД для финансовой группы компаний

Заказчик
Банк «Открытие»
Руководитель проекта со стороны заказчика
ИТ-поставщик
АО "Инфосистемы Джет"
Год завершения проекта
2021
Сроки выполнения проекта
Ноябрь, 2018 - Май, 2021
Масштаб проекта
20000 человеко-часов
Цели

1. Централизация всех ЦОД и серверных комнат для компаний группы на базе двух современных и высокодоступных ЦОД.

2. Унификация инфраструктурных компонентов ИТ-ландшафта.

3. Консолидация оборудования группы компаний.

5. Обеспечение готовности ИТ-инфраструктуры к росту бизнеса.

6. Оптимизация затрат объединенной банковской группы.

Уникальность проекта

Для Заказчика:
  • Стратегически важный проект, который изменил ИТ-ландшафт и подход к эксплуатации.
  • Переход от разрозненной инфраструктуры к единому решению на базе собственного высокодоступного и централизованного дата-центра.
  • До начала работ вычислительные мощности компаний группы размещались на 35 территориально распределенных серверных площадках. Новый дата-центр стал вторым целевым высокодоступным центром обработки данных и поможет завершить объединение ранее разрозненного оборудования и сервисов.
Для исполнителя — самый масштабный комплексный проект.
  • Площадь застройки территории 1 Га, ЦОД занимает 4 000 кв. м и имеет максимальную вместимость в 366 стоек.
  • Серверные стойки размещаются в 3-х независимых машинных залах, 2-х помещениях ввода внешних линий связи, кроссовых и обслуживающих помещениях.
Для рынка — высокотехнологичный объект.
  • Использованы самые современные решения и наработки в области строительства ЦОД: энергоэффективные, компактные, удобные в эксплуатации, высоконадежные.
Проект решает задачи импортозамещения
Нет
Использованное ПО

На этапе проектирования и реализации инженерных систем активно использовались такие программные продукты, как Autodesk Revit и Autodesk Navisworks для снижения риска коллизий в части взаимного пересечения инженерных систем. Для проверки гидравлического расчета сети трубопроводов системы холодоснабжения использовалась программа Danfoss C.O. Оценка тепловоздушного баланса машинных залов производилась в программном комплексе Six Sigma.

Для каждой инженерной подсистемы был выбран оптимальный вендор: для ИБП — Vertiv, для дизель-генераторов — SDMO, для чиллерных установок и кондиционеров — Stulz. Компания Schneider Electric для этого проекта разработала независимую систему «парящих» изолированных холодных коридоров: решение Free-Flying позволяет устанавливать серверные стойки различных габаритов в смонтированном коридоре без нарушения целостности системы, по мере необходимости.

Была предложена классическая схема системы кондиционирования на жидкостном носителе: холодильные машины (чиллеры) Stulz СyberCool 2 наружной установки с фрикулингом и водяные прецизионные кондиционеры Stulz CyberAir 3 PRO с вентиляторной группой, вынесенной под фальшпол. В результате заказчик смог минимизировать годовое энергопотребление системы холодоснабжения и затраты на электроэнергию, снизить подводимую к объекту электрическую мощность, сократив тем самым капзатраты, а также уменьшить стоимость смежных систем ЦОД.

Чтобы холодильные машины можно было обслуживать с любой стороны и безопасно работать с их верхней частью, исполнитель разработал, спроектировал и реализовал специальную раму для установки чиллеров на площадке заказчика.

Одно из достоинств выбранного чиллера — встроенный внутренний ИБП, от которого питается контроллер, что обеспечивает непрерывность его работы и быстрый выход на рабочий режим при переключении с одного ввода электропитания на другой. Короткое время выхода холодильной машины на рабочий режим (менее двух минут) дало возможность уменьшить общий объем баков — накопителей жидкости.

В новом ЦОД создали два хладоцентра. В первом установлены теплообменники «жидкость – жидкость» между внешним и внутренним контурами. Во втором, находящемся вблизи машзалов, охлажденная в первом хладоцентре вода разводится по кондиционерам шкафного типа. Поскольку кондиционеры расположены в отдельном помещении, специалисты по ИТ не имеют доступа к кондиционерам, а персонал, обслуживающий кондиционеры, не заходит в основной зал. В самих машзалах организована изоляция холодного коридора.

APC, Panduit, Corning, Mitsubishi Electric, Daikin, Systemair, Danfoss, Dehn, Wavin, K-Flex, Grundfos, Reflex, Alfa Laval.

Сложность реализации

  • Одновременное выполнение общестроительных работ и работ по инженерным системам в здании, на площади 4 000 кв. м, и на территории около 1 Га.

  • Проведение полного цикла изыскательских работ (геологические, экологические, инструментальные и т.п.)

  • Оперативная смена концептуальных технических решений в процессе СМР (фундамент всех уличных конструкций, крепление инженерных коммуникаций к перекрытиям и т.п.)

  • Управление строительной площадкой, организация мероприятий ТБ и ПБ, охраны (ЧОП).

  • Получение разрешающих документов на земляные работы, предъявление работ государственным инстанциям (Мосгоргеотрест и т.п.)

  • Строительство трансформаторных подстанций, сдача электроустановки в Ростехнадзор.

  • Проведение полномасштабных испытаний инженерной инфраструктуры ЦОД под проектной нагрузкой в течении 72 часов, включая имитацию аварийных событий для проверки корректной работы автоматики.

Описание проекта

До создания основного ЦОД семь крупных организаций, входящих в финансовую группу компании, эксплуатировали более 500 стоек на 18 собственных и 17 арендованных серверных площадка. Такую распределенную структуру было трудно поддерживать и развивать. Кроме того, серверные были реализованы на недостаточно высоком технологическом уровне и не могли обеспечить требуемую надежность. Инженерное и ИТ-оборудование было разнородным, и каждую площадку обслуживала своя команда эксплуатации. Усложняло работу большое количество арендодателей и поставщиков услуг.

Была произведена оценка ТСО при различных подходах и сделан вывод, что оптимальный вариант — построение централизованной архитектуры финансовой группы компаний на базе собственного основного дата-центра и аренды площадей в коммерческом в качестве резерва.

Выполненные работы:

1. Разработка проектной документации на инженерные системы ЦОД.

2. Поставка оборудования и материалов комплекса инженерных систем.

3. Строительно-монтажные работы инженерных систем ЦОД и работы по капитальному ремонту части здания.

4. Сдача электроустановки в Ростехнадзор, включая трансформаторную подстанцию.

5. Проведение индивидуальных и комплексных испытаний инженерных систем.

6. Проведение тестовой эксплуатации инженерной инфраструктуры ЦОД при проектной нагрузке в течение 72 часов.

7. Выполнение благоустройства территории.

Описание проекта:

  • Общая мощность 4000 кВт.

  • Площадь ЦОД 4000 м2.

  • Площадь застройки территории 1 Га.

Предложенное решение позволяет выполнять постепенное увеличение мощности ЦОД и вводить в эксплуатацию новые машинные залы для размещения стоек с серверным оборудованием в зависимости от растущих потребностей заказчика в новых сервисах и приложениях.

Максимальная вместимость ЦОД 366 стоек.

Серверные стойки размещаются в трех независимых машинных залах (общая площадь 1000 м2), двух помещения ввода внешних линий связи, кроссовых и обслуживающих помещениях.

Схема резервирования системы электроснабжения 3/2N.

Схема резервирования системы холодоснабжения N+1.

Схема резервирования каналов связи 2N.

Решения для основных инженерных систем, обеспечивает круглогодичное функционирование ЦОД.

Полезная ИТ-мощность 2200 кВт.

Рабочий диапазон температур от -40℃ до +40℃.

Время автономной работы 6 часов.

240 ОВ плотность портов СКС на стойку.

Общая емкость главного кросса СКС 78720 ОВ.

Высота фальшпола 1,3 м.

Результаты проекта:

1. Выполнена централизация всех ЦОД и серверных комнат группы.

2. Обеспечена возможность роста ИТ-систем.

3. Снижено время простоя ИТ-систем.

4. Обеспечена возможность проведения работ на инженерных системах без влияния на бизнес-процессы.

5. Организована единая централизованная служба мониторинга ЦОД.

6. Обеспечен контроль доступа к серверному оборудованию.

7. Оптимизированы затраты на аренду и обслуживание ЦОД, инженерных систем и серверных комнат.

8. Создана единая служба эксплуатации ЦОД группы.

География проекта
г. Москва
Дополнительные презентации:






Коментарии: 1
  • Евгений Мишин
    Рейтинг: 6
    ПАО Банк «ФК Открытие»
    Начальник отдела
    19.11.2021 11:51

    Добрый день. Подскажите, пожалуйста, как в столь короткий срок, команда смогла реализовать столь сложный проект? Почему была выбрана модель строительства собственного ЦОД, а не аренда коммерческого? Компания планирует выполнить сертификацию ЦОД по Tier?

Год
Предметная область
Отрасль
Управление