Создание центра обработки данных для Америабанка

Заказчик
Америабанк
Руководитель проекта со стороны заказчика
ИТ-поставщик
Softline
Год завершения проекта
2018
Сроки выполнения проекта
Октябрь, 2017 — Январь, 2018
Масштаб проекта
10000 человеко-часов
500 автоматизированных рабочих мест
Цели

Создание нового центра обработки данных было продиктовано необходомостью обеспечить ответ на вызовы, обусловленные трансформацией банковского бизнеса: на новом этапе ключевую роль начинают играть большие данные и технологии для их хранения, обработки и использования в бизнес-целях. Понимая это, менеджеры Америабанка в 2017 году приняли решение о существенном усилении ИТ-составляющей.

В новом здании банка должен был заработать центр обработки данных, который не только мог бы поддерживать функционирование вычислительного оборудования, но и соответствовал бы уровню надежности TIER III, который определяется методологией международной организации Uptime Institute.

Уникальность проекта

  • Сейсмоустройчивость дата-цента (стойкость к подземным толчкам).
  • Применение ИБП на основе литий-ионных батарей.
  • Использование аэродинамических ламелей для перенаправления потоков холодного воздуха к батареям источников бесперебойного питания.
  • Усиление перекрытий второго этажа для увеличения несущей способности помещения.
  • Применение системы раннего обнаружения возгораний на основе газоанализаторов.
  • Рекуперация тепла в системе климат-контроля.
Использованное ПО
  • Система кондиционирования. Использует напольные кондиционеры для охлаждения вычислительного оборудования, а также находящихся в этом же помещении источников бесперебойного питания — через специальные аэродинамические ламели.
  • Система общеобменной вентиляции без калорифера. Применяется система рекуперации тепла. В холодное время года, часть теплого воздуха из помещения возвращается обратно, подогревая холодный воздух с улицы. Тем самым обеспечивается высокий уровень энергоэффективности проекта в целом. Это важно, поскольку ЦОД располагается в энергоэффективном здании.
  • Источники бесперебойного питания. Впервые в регионе ВЕЦА были использованы ИБП производства Schneider Electric на основе литий-ионных батарей. Их мощность составляет 160 кВ*А. Они в разы компактнее и легче традиционных свинцово-кислотных аналогов, что в условиях ограничений по площади и по нагрузке на межэтажные перекрытия здания оказалось весьма кстати.
  • Фальшпол для более равномерного распределения нагрузки на перекрытие и для подачи холодного воздуха от кондиционеров. Серверные шкафы закреплены на фальшполе с помощью кронштейнов, которые предотвращают опрокидывание шкафов при подземных толчках.
  • Платформа мониторинга инфраструктуры разработки Schneider Electric. Она отслеживает состояние всего оборудования, начиная от электрощитов (параметры и объем получаемого электропитания), следит за ИБП, за кондиционерами, температурой, влажностью в помещении. На нее также завязана система контроля и управления доступом к отдельным серверным шкафам. Она позволяет удаленно открывать и закрывать шкафы, фиксирует, кто и когда открывал шкаф, и как долго шкаф пробыл в открытом состоянии.
  • Система раннего обнаружения возгораний на основе газоанализаторов. Они расположены рядом с кондиционерами, распознают в воздухе характерные для начала пожара примеси и дают сигнал в центр управления ЦОДом. Она существенно точнее, чем традиционные системы, и дает меньше ложных срабатываний.
Описание проекта

Заказчик предложил проектной команде Softline представить несколько вариантов технического решения будущего ЦОДа. Достаточно быстро — буквально в течение пары недель — инженеры предложили две версии, которые отличались друг от друга особенностями систем кондиционирования. В первом варианте за охлаждение отвечали классические напольные кондиционеров. Второй вариант предусматривал рядную систему кондиционирования, где кондиционеры размещаются между серверными шкафами. Напольники — можно сказать, классическое решение, оно несколько дешевле. Зато рядные кондиционеры компактнее и позволяют отказаться от фальшпола. Заказчик выбрал напольные кондиционеры, и это дало команде проекта повод поразмышлять, как охлаждать батареи источника бесперебойного питания. Из-за ограничений по площади они должны были разместиться в том же помещении, что и вычислительное оборудование. Тогда и родилось еще одно нетривиальное для ЦОДов техническое решение — использовать для охлаждения батарей аэродинамические ламели. Настроив их соответствующим образом, удалось направить холодный воздух на аккумуляторы.

Система общеобменной вентиляции спроектирована без калорифера. Применяется система рекуперации тепла. В холодное время года часть теплого воздуха из помещения возвращается обратно, подогревая холодный воздух с улицы. Тем самым обеспечивается высокий уровень энергоэффективности проекта в целом. Это важно, поскольку ЦОД располагается в энергоэффективном здании.

В рамках проекта впервые в регионе ВЕЦА были использованы ИБП производства Schneider Electric на основе литий-ионных батарей. Их мощность составляет 160 кВ*А. Они в разы компактнее и легче традиционных свинцово-кислотных аналогов, что в условиях ограничений по площади и по нагрузке на межэтажные перекрытия здания оказалось весьма кстати. Загруженный на 100% дата-центр может работать на батареях более 15 минут — более чем достаточно для старта резервных дизель-генераторов.

Основным вызовом для инженеров Softline стал вес оборудования. 24 шкафа с серверами и сетевым оборудованием на площади чуть более 100 квадратных метров даже без учета массы батарей — значительная нагрузка на перекрытия второго этажа, где располагается дата-центр. Для усиления перекрытий инженеры Softline поработали в связке со строителями. Чтобы повысить несущую способность пола второго этажа, потребовалось проложить и закрепить армирующий стальной профиль — проблема сразу исчезла. С точки зрения распределения массы очень кстати оказалась история с напольными кондиционерами, в пользу которых принял решение заказчик. Дело в том, что для их работы в дата-центре необходимо организовать фальшпол. Он обладает решетчатой структурой и равномерно распределяет нагрузку от оборудования на реальный пол здания, и помогает избежать ситуации, когда вес «железа» концентрируется на одной небольшой зоне.

Город Ереван находится в сейсомоопасной зоне, что потребовало проработать ряд решений для защиты оборудовнаия от перемещения и опрокидывания. Фальшпол усилен распорками, серверные шкафы оснащены кронштейнами, которыми они крепятся к фальшполу — при подземных толчках крепеж удержит шкафы от опрокидывания. Тяжелые элементы оборудования также защищены от опрокидывания — они закреплены на стальной раме, надежно зафиксированной на полу.

За статусом инженерных систем ЦОДа следит платформа мониторинга разработки Schneider Electric. Она отслеживает состояние всего оборудования, начиная от электрощитов (параметры и объем получаемого электропитания), следит за ИБП, за кондиционерами, температурой, влажностью в помещении. На нее также завязана система контроля и управления доступом к отдельным серверным шкафам. Она позволяет удаленно открывать и закрывать шкафы, фиксирует, кто и когда открывал шкаф, и как долго шкаф пробыл в открытом состоянии.

Для совсем критических случаев в дата-центре предусмотрена система раннего обнаружения возгораний на основе газоанализаторов. Они расположены рядом с кондиционерами, распознают в воздухе характерные для начала пожара примеси и дают сигнал в центр управления ЦОДом. Она существенно точнее, чем традиционные системы, и дает меньше ложных срабатываний.

Работы по монтажу оборудования в дата-центре заняли примерно три месяца — с учетом сроков поставки. Особо громоздкое «железо» поднимали вилочным погрузчиком через лестничный проем. Также по поручению инженеров Softline строители заложили окна в дата-центре и демонтировали гипсокартонную отделку помещения — стены и потолок будущего дата-центра покрыли специальной антистатической краской, к которой не пристает пыль. После завершения отделки и монтажа оборудования наступил период испытаний, где помимо команды Softline и представителей заказчика присутствовали инженеры Schneider Electric. Максимальную производительность системы кондиционирования проверяли тепловыми пушками — их установили в серверные стойки и включили на полную мощность. Тепловые пушки пришлось закупать в России — в теплой Армении нужного количества этих девайсов просто не оказалось. В остальном испытания прошли по стандартному протоколу и после небольших корректировок режимов работы оборудования были успешно завершены.

География проекта
Армения, город Ереван
Дополнительные презентации:
ЦОД Америабанк.pptx
Коментарии: 4

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Эдуард Иванов
    Рейтинг: 13
    74.ru
    Руководитель ИТ
    17.11.2018 01:13

    Даже нагрузку на пол просчитали.
    Не часто встретишь таких ответственных исполнителей.
    !!!
    А не было желания построить ЦОД где-нибудь на соседней горе, чтобы на охлаждении сэкономить?
    В Армении же горы кругом.

    • Эдуард
      09.01.2019 15:41

      Эдуард Анатольевич, спасибо большое за ваш отзыв.
      Очень важно, что бы ЦОД находился в непосредственной близости к специалистам, для оперативного реагирования на инциденты, поэтому его строительство планировалось в том же здании, где располагаются сотрудники банка.
      Применение фрикулинга в системе кондиционирования рассматривалось, но как показали расчеты, что бы это было экономически целесообразно, мощность ИТ нагрузки ЦОД должна быть более 500 кВт.

  • Александр Артюхов
    Рейтинг: 95
    АО "Организация "Агат"
    Руководитель проекта
    29.12.2018 13:21

    Добрый день!
    Хорошо представленный проект с интересными решениями. Между тем сама постановка задачи вызывает главный вопрос: почему собственный ЦОД? И ЦОД не резервируется никак?
    Вопрос ДГУ как-то выпал из общего списка задач проекта. Наверное, решение по ДГУ или уже есть, или же обеспечение гарантированного питания идёт через ДГУ здания. Если решение собственное, то что за ДГУ и какой мощности используется, как запускается? Если речь идёт о едином решении для здания, то есть ли SLA с поставщиком?

    • Александр
      09.01.2019 16:18

      Александр Викторович, спасибо большое за ваш отзыв и вопросы.
      Решение построить собственный ЦОД было принято в связи с высокими требованиями по физической безопасности. Так же, по этой причине, некоторые шкафы в ЦОД имеют отдельную систему контроля доступа, которой управляет служба безопасности банка.
      К сожалению, ДГУ действительно выпал из списка, так как он ставился не в рамках этого проекта. Но он, всё же, установлен. Это отдельный ДГУ Olympian для ЦОД, мощностью 250кВА и двигателем Perkins. Запуск ДГУ производится по команде от АВР ЦОД.
      По поводу резервирования, в ЦОД используется две линии электропитания, основная и резервная, а так же предусмотрено подключение второго, аналогичного ДГУ в перспективе.

Предметная область
Отрасль
Управление