Создание центра обработки данных для Америабанка

Создание нового центра обработки данных было продиктовано необходомостью обеспечить ответ на вызовы, обусловленные трансформацией банковского бизнеса: на новом этапе ключевую роль начинают играть большие данные и технологии для их хранения, обработки и использования в бизнес-целях. Понимая это, менеджеры Америабанка в 2017 году приняли решение о существенном усилении ИТ-составляющей.

В новом здании банка должен был заработать центр обработки данных, который не только мог бы поддерживать функционирование вычислительного оборудования, но и соответствовал бы уровню надежности TIER III, который определяется методологией международной организации Uptime Institute.

• Система кондиционирования. Использует напольные кондиционеры для охлаждения вычислительного оборудования, а также находящихся в этом же помещении источников бесперебойного питания — через специальные аэродинамические ламели.
• Система общеобменной вентиляции без калорифера. Применяется система рекуперации тепла. В холодное время года, часть теплого воздуха из помещения возвращается обратно, подогревая холодный воздух с улицы. Тем самым обеспечивается высокий уровень энергоэффективности проекта в целом. Это важно, поскольку ЦОД располагается в энергоэффективном здании.
• Источники бесперебойного питания. Впервые в регионе ВЕЦА были использованы ИБП производства Schneider Electric на основе литий-ионных батарей. Их мощность составляет 160 кВ*А. Они в разы компактнее и легче традиционных свинцово-кислотных аналогов, что в условиях ограничений по площади и по нагрузке на межэтажные перекрытия здания оказалось весьма кстати.
• Фальшпол для более равномерного распределения нагрузки на перекрытие и для подачи холодного воздуха от кондиционеров. Серверные шкафы закреплены на фальшполе с помощью кронштейнов, которые предотвращают опрокидывание шкафов при подземных толчках.
• Платформа мониторинга инфраструктуры разработки Schneider Electric. Она отслеживает состояние всего оборудования, начиная от электрощитов (параметры и объем получаемого электропитания), следит за ИБП, за кондиционерами, температурой, влажностью в помещении. На нее также завязана система контроля и управления доступом к отдельным серверным шкафам. Она позволяет удаленно открывать и закрывать шкафы, фиксирует, кто и когда открывал шкаф, и как долго шкаф пробыл в открытом состоянии.
• Система раннего обнаружения возгораний на основе газоанализаторов. Они расположены рядом с кондиционерами, распознают в воздухе характерные для начала пожара примеси и дают сигнал в центр управления ЦОДом. Она существенно точнее, чем традиционные системы, и дает меньше ложных срабатываний.

Заказчик предложил проектной команде Softline представить несколько вариантов технического решения будущего ЦОДа. Достаточно быстро — буквально в течение пары недель — инженеры предложили две версии, которые отличались друг от друга особенностями систем кондиционирования. В первом варианте за охлаждение отвечали классические напольные кондиционеров. Второй вариант предусматривал рядную систему кондиционирования, где кондиционеры размещаются между серверными шкафами. Напольники — можно сказать, классическое решение, оно несколько дешевле. Зато рядные кондиционеры компактнее и позволяют отказаться от фальшпола. Заказчик выбрал напольные кондиционеры, и это дало команде проекта повод поразмышлять, как охлаждать батареи источника бесперебойного питания. Из-за ограничений по площади они должны были разместиться в том же помещении, что и вычислительное оборудование. Тогда и родилось еще одно нетривиальное для ЦОДов техническое решение — использовать для охлаждения батарей аэродинамические ламели. Настроив их соответствующим образом, удалось направить холодный воздух на аккумуляторы.

Система общеобменной вентиляции спроектирована без калорифера. Применяется система рекуперации тепла. В холодное время года часть теплого воздуха из помещения возвращается обратно, подогревая холодный воздух с улицы. Тем самым обеспечивается высокий уровень энергоэффективности проекта в целом. Это важно, поскольку ЦОД располагается в энергоэффективном здании.

В рамках проекта впервые в регионе ВЕЦА были использованы ИБП производства Schneider Electric на основе литий-ионных батарей. Их мощность составляет 160 кВ*А. Они в разы компактнее и легче традиционных свинцово-кислотных аналогов, что в условиях ограничений по площади и по нагрузке на межэтажные перекрытия здания оказалось весьма кстати. Загруженный на 100% дата-центр может работать на батареях более 15 минут — более чем достаточно для старта резервных дизель-генераторов.

Основным вызовом для инженеров Softline стал вес оборудования. 24 шкафа с серверами и сетевым оборудованием на площади чуть более 100 квадратных метров даже без учета массы батарей — значительная нагрузка на перекрытия второго этажа, где располагается дата-центр. Для усиления перекрытий инженеры Softline поработали в связке со строителями. Чтобы повысить несущую способность пола второго этажа, потребовалось проложить и закрепить армирующий стальной профиль — проблема сразу исчезла. С точки зрения распределения массы очень кстати оказалась история с напольными кондиционерами, в пользу которых принял решение заказчик. Дело в том, что для их работы в дата-центре необходимо организовать фальшпол. Он обладает решетчатой структурой и равномерно распределяет нагрузку от оборудования на реальный пол здания, и помогает избежать ситуации, когда вес «железа» концентрируется на одной небольшой зоне.

Город Ереван находится в сейсомоопасной зоне, что потребовало проработать ряд решений для защиты оборудовнаия от перемещения и опрокидывания. Фальшпол усилен распорками, серверные шкафы оснащены кронштейнами, которыми они крепятся к фальшполу — при подземных толчках крепеж удержит шкафы от опрокидывания. Тяжелые элементы оборудования также защищены от опрокидывания — они закреплены на стальной раме, надежно зафиксированной на полу.

За статусом инженерных систем ЦОДа следит платформа мониторинга разработки Schneider Electric. Она отслеживает состояние всего оборудования, начиная от электрощитов (параметры и объем получаемого электропитания), следит за ИБП, за кондиционерами, температурой, влажностью в помещении. На нее также завязана система контроля и управления доступом к отдельным серверным шкафам. Она позволяет удаленно открывать и закрывать шкафы, фиксирует, кто и когда открывал шкаф, и как долго шкаф пробыл в открытом состоянии.

Для совсем критических случаев в дата-центре предусмотрена система раннего обнаружения возгораний на основе газоанализаторов. Они расположены рядом с кондиционерами, распознают в воздухе характерные для начала пожара примеси и дают сигнал в центр управления ЦОДом. Она существенно точнее, чем традиционные системы, и дает меньше ложных срабатываний.

Работы по монтажу оборудования в дата-центре заняли примерно три месяца — с учетом сроков поставки. Особо громоздкое «железо» поднимали вилочным погрузчиком через лестничный проем. Также по поручению инженеров Softline строители заложили окна в дата-центре и демонтировали гипсокартонную отделку помещения — стены и потолок будущего дата-центра покрыли специальной антистатической краской, к которой не пристает пыль. После завершения отделки и монтажа оборудования наступил период испытаний, где помимо команды Softline и представителей заказчика присутствовали инженеры Schneider Electric. Максимальную производительность системы кондиционирования проверяли тепловыми пушками — их установили в серверные стойки и включили на полную мощность. Тепловые пушки пришлось закупать в России — в теплой Армении нужного количества этих девайсов просто не оказалось. В остальном испытания прошли по стандартному протоколу и после небольших корректировок режимов работы оборудования были успешно завершены.