Строительство ЦОД для финансовой группы компаний
- Заказчик
- Банк «Открытие»
- Руководитель проекта со стороны заказчика
- ИТ-поставщик
- АО "Инфосистемы Джет"
- Год завершения проекта
- 2021
- Сроки выполнения проекта
- Ноябрь, 2018 - Май, 2021
- Масштаб проекта
- 20000 человеко-часов
- Цели
-
1. Централизация всех ЦОД и серверных комнат для компаний группы на базе двух современных и высокодоступных ЦОД.
2. Унификация инфраструктурных компонентов ИТ-ландшафта.
3. Консолидация оборудования группы компаний.
5. Обеспечение готовности ИТ-инфраструктуры к росту бизнеса.
6. Оптимизация затрат объединенной банковской группы.
Уникальность проекта
Для Заказчика:- Стратегически важный проект, который изменил ИТ-ландшафт и подход к эксплуатации.
- Переход от разрозненной инфраструктуры к единому решению на базе собственного высокодоступного и централизованного дата-центра.
- До начала работ вычислительные мощности компаний группы размещались на 35 территориально распределенных серверных площадках. Новый дата-центр стал вторым целевым высокодоступным центром обработки данных и поможет завершить объединение ранее разрозненного оборудования и сервисов.
- Площадь застройки территории 1 Га, ЦОД занимает 4 000 кв. м и имеет максимальную вместимость в 366 стоек.
- Серверные стойки размещаются в 3-х независимых машинных залах, 2-х помещениях ввода внешних линий связи, кроссовых и обслуживающих помещениях.
- Использованы самые современные решения и наработки в области строительства ЦОД: энергоэффективные, компактные, удобные в эксплуатации, высоконадежные.
- Проект решает задачи импортозамещения
- Нет
- Использованное ПО
-
На этапе проектирования и реализации инженерных систем активно использовались такие программные продукты, как Autodesk Revit и Autodesk Navisworks для снижения риска коллизий в части взаимного пересечения инженерных систем. Для проверки гидравлического расчета сети трубопроводов системы холодоснабжения использовалась программа Danfoss C.O. Оценка тепловоздушного баланса машинных залов производилась в программном комплексе Six Sigma.
Для каждой инженерной подсистемы был выбран оптимальный вендор: для ИБП — Vertiv, для дизель-генераторов — SDMO, для чиллерных установок и кондиционеров — Stulz. Компания Schneider Electric для этого проекта разработала независимую систему «парящих» изолированных холодных коридоров: решение Free-Flying позволяет устанавливать серверные стойки различных габаритов в смонтированном коридоре без нарушения целостности системы, по мере необходимости.
Была предложена классическая схема системы кондиционирования на жидкостном носителе: холодильные машины (чиллеры) Stulz СyberCool 2 наружной установки с фрикулингом и водяные прецизионные кондиционеры Stulz CyberAir 3 PRO с вентиляторной группой, вынесенной под фальшпол. В результате заказчик смог минимизировать годовое энергопотребление системы холодоснабжения и затраты на электроэнергию, снизить подводимую к объекту электрическую мощность, сократив тем самым капзатраты, а также уменьшить стоимость смежных систем ЦОД.
Чтобы холодильные машины можно было обслуживать с любой стороны и безопасно работать с их верхней частью, исполнитель разработал, спроектировал и реализовал специальную раму для установки чиллеров на площадке заказчика.
Одно из достоинств выбранного чиллера — встроенный внутренний ИБП, от которого питается контроллер, что обеспечивает непрерывность его работы и быстрый выход на рабочий режим при переключении с одного ввода электропитания на другой. Короткое время выхода холодильной машины на рабочий режим (менее двух минут) дало возможность уменьшить общий объем баков — накопителей жидкости.
В новом ЦОД создали два хладоцентра. В первом установлены теплообменники «жидкость – жидкость» между внешним и внутренним контурами. Во втором, находящемся вблизи машзалов, охлажденная в первом хладоцентре вода разводится по кондиционерам шкафного типа. Поскольку кондиционеры расположены в отдельном помещении, специалисты по ИТ не имеют доступа к кондиционерам, а персонал, обслуживающий кондиционеры, не заходит в основной зал. В самих машзалах организована изоляция холодного коридора.
APC, Panduit, Corning, Mitsubishi Electric, Daikin, Systemair, Danfoss, Dehn, Wavin, K-Flex, Grundfos, Reflex, Alfa Laval.
- Сложность реализации
-
-
Одновременное выполнение общестроительных работ и работ по инженерным системам в здании, на площади 4 000 кв. м, и на территории около 1 Га.
-
Проведение полного цикла изыскательских работ (геологические, экологические, инструментальные и т.п.)
-
Оперативная смена концептуальных технических решений в процессе СМР (фундамент всех уличных конструкций, крепление инженерных коммуникаций к перекрытиям и т.п.)
-
Управление строительной площадкой, организация мероприятий ТБ и ПБ, охраны (ЧОП).
-
Получение разрешающих документов на земляные работы, предъявление работ государственным инстанциям (Мосгоргеотрест и т.п.)
-
Строительство трансформаторных подстанций, сдача электроустановки в Ростехнадзор.
-
Проведение полномасштабных испытаний инженерной инфраструктуры ЦОД под проектной нагрузкой в течении 72 часов, включая имитацию аварийных событий для проверки корректной работы автоматики.
-
- Описание проекта
-
До создания основного ЦОД семь крупных организаций, входящих в финансовую группу компании, эксплуатировали более 500 стоек на 18 собственных и 17 арендованных серверных площадка. Такую распределенную структуру было трудно поддерживать и развивать. Кроме того, серверные были реализованы на недостаточно высоком технологическом уровне и не могли обеспечить требуемую надежность. Инженерное и ИТ-оборудование было разнородным, и каждую площадку обслуживала своя команда эксплуатации. Усложняло работу большое количество арендодателей и поставщиков услуг.
Была произведена оценка ТСО при различных подходах и сделан вывод, что оптимальный вариант — построение централизованной архитектуры финансовой группы компаний на базе собственного основного дата-центра и аренды площадей в коммерческом в качестве резерва.
Выполненные работы:
1. Разработка проектной документации на инженерные системы ЦОД.
2. Поставка оборудования и материалов комплекса инженерных систем.
3. Строительно-монтажные работы инженерных систем ЦОД и работы по капитальному ремонту части здания.
4. Сдача электроустановки в Ростехнадзор, включая трансформаторную подстанцию.
5. Проведение индивидуальных и комплексных испытаний инженерных систем.
6. Проведение тестовой эксплуатации инженерной инфраструктуры ЦОД при проектной нагрузке в течение 72 часов.
7. Выполнение благоустройства территории.
Описание проекта:
-
Общая мощность 4000 кВт.
-
Площадь ЦОД 4000 м2.
-
Площадь застройки территории 1 Га.
Предложенное решение позволяет выполнять постепенное увеличение мощности ЦОД и вводить в эксплуатацию новые машинные залы для размещения стоек с серверным оборудованием в зависимости от растущих потребностей заказчика в новых сервисах и приложениях.
Максимальная вместимость ЦОД 366 стоек.
Серверные стойки размещаются в трех независимых машинных залах (общая площадь 1000 м2), двух помещения ввода внешних линий связи, кроссовых и обслуживающих помещениях.
Схема резервирования системы электроснабжения 3/2N.
Схема резервирования системы холодоснабжения N+1.
Схема резервирования каналов связи 2N.
Решения для основных инженерных систем, обеспечивает круглогодичное функционирование ЦОД.
Полезная ИТ-мощность 2200 кВт.
Рабочий диапазон температур от -40℃ до +40℃.
Время автономной работы 6 часов.
240 ОВ плотность портов СКС на стойку.
Общая емкость главного кросса СКС 78720 ОВ.
Высота фальшпола 1,3 м.
Результаты проекта:
1. Выполнена централизация всех ЦОД и серверных комнат группы.
2. Обеспечена возможность роста ИТ-систем.
3. Снижено время простоя ИТ-систем.
4. Обеспечена возможность проведения работ на инженерных системах без влияния на бизнес-процессы.
5. Организована единая централизованная служба мониторинга ЦОД.
6. Обеспечен контроль доступа к серверному оборудованию.
7. Оптимизированы затраты на аренду и обслуживание ЦОД, инженерных систем и серверных комнат.
8. Создана единая служба эксплуатации ЦОД группы.
-
- География проекта
- г. Москва
- Дополнительные презентации: