Как строят надежные ЦОДы: практический взгляд с инженерной стороны

Автор: Сергей Воронин, руководитель направления инженерных систем компании «ГИГАНТ Компьютерные системы»

Сегодня обсуждение ЦОДов почти всегда начинается с разговора про «железо»: какие ИБП взять, сколько кондиционеров нужно, какой чиллер лучше. Но если с этого стартует проект, он с самого начала идет с неверной точки отсчета. Центр обработки данных – это не набор шкафов и инженерных систем, а инструмент для обеспечения конкретных бизнес-сервисов и уровней риска, с которыми компания готова мириться. Логика здесь простая. Сначала у бизнеса появляется задача: запустить новый сервис, обеспечить непрерывность критичных систем, соблюсти требования регуляторов, перенести инфраструктуру «на землю» из арендуемого ЦОДа. Под это формируется ИТ-ландшафт – серверы, системы хранения, программные платформы. И уже потом эта ИТ-инфраструктура «приземляется» на инженерные системы.

Что при этом крутится на серверах – внутренняя корпоративная система, высоконагруженное приложение или даже майнинг, – для инженеров вторично. С точки зрения инфраструктуры задач всего несколько: корректно подать и зарезервировать питание, обеспечить охлаждение и допустимые параметры среды, настроить базовую безопасность и предсказуемость работы площадки.

Именно поэтому грамотный проект ЦОДа всегда начинается не с перебора моделей оборудования, а с разбора бизнес-требований и реальных задач заказчика: какие сервисы нельзя останавливать, какой простой допустим, какие риски компания готова принять и какую плотность нагрузки она сможет обеспечить в перспективе. Только после этого появляется возможность выстроить инженерную архитектуру. Если этот этап пропустить или отнестись формально, последующие ошибки гарантированы. Самая частая из них – неправильная оценка собственных потребностей: завышенные требования по мощности, лишние стойки «на вырост», неверный расчет тепла и потребления. Все это кажется мелочью, пока не становится фундаментом инженерной схемы, которую потом невозможно изменить без борьбы с уже построенной реальностью.

Ошибки на старте, которые дорого обходятся позже

Строительство «на запас» – одна из самых распространенных причин лишних расходов при создании ЦОДа. Почти каждый второй проект начинается с того, что заказчик завышает параметры будущей инфраструктуры. Сценарий вполне типовой: сегодня у компании есть две-три стойки, но она предполагает, что через пару лет их станет десяток, – и под эту гипотетическую нагрузку сразу формируется весь технический контур.

Проблема в том, что инженерные системы всегда строятся под полную проектную мощность. Если реальная нагрузка окажется вдвое ниже, переплата будет ощутимой. Более того, «пустой» ЦОД работает нестабильно: системы охлаждения, рассчитанные на большой тепловой контур, при низкой загрузке начинают циклировать, отключаться и входить в нештатные режимы. Поэтому на старте важно честно определить горизонты роста и закладывать инфраструктуру так, чтобы ее можно было расширять поэтапно, а не платить за мощность, которая может никогда не понадобиться.

К завышению бюджета часто приводит и другая ошибка – неправильный расчет энергопотребления. Заказчики механически складывают паспортные киловатты серверов, систем хранения и вспомогательного оборудования, получая цифру, которая не имеет ничего общего с реальной работой. Большинство серверов оснащены несколькими блоками питания, но фактически задействуют лишь часть из них – остальное работает как резерв. В результате проектируется система электроснабжения на мощность, которую оборудование никогда не потребит, а стоимость ЦОДа растет без каких-либо технических оснований.

Даже идеальное техническое задание можно легко разрушить неправильным выбором помещения. На бумаге все может выглядеть отлично, но на этапе обследования выясняется, что здание банально не выдержит вес будущей инфраструктуры. В офисных и административных постройках перекрытия часто рассчитаны на 500–600 кг на квадратный метр, тогда как стойки и инженерные узлы требуют примерно вдвое больше. В таких условиях помещение физически не подходит под задачи ЦОДа.

Даже если с несущей способностью все в порядке, может всплыть другой ограничивающий фактор – отсутствие достаточной электрической мощности. Площадь может быть идеальной, но здание не имеет запаса по энергоподведению. Дополнительно получить технические условия и протянуть новые киловатты к существующей постройке зачастую слишком дорого или даже технически невозможно.

Свою роль часто играют и скрытые инженерные коммуникации. Через помещение могут проходить магистральные трубы отопления, водоснабжения или канализации – те самые системы, которым в ЦОДе места быть не должно. Если перенести такие магистрали нельзя, помещение автоматически исключается из рассмотрения.

Иногда проблему создает не само помещение, а то, что находится над ним. Если над будущим машзалом располагаются «мокрые» зоны: кухня, санузел или технологические помещения, – то риск протечек становится критическим. А любая протечка сверху – это прямой путь к аварии и простоям, поэтому поэтому подобные помещения исключаются уже на раннем этапе анализа.

Чтобы избежать подобных ошибок, на старте проекту необходим интегратор, но не как исполнитель, а как стратегический инженерный консультант. Он помогает корректно оценить будущую нагрузку, учесть ограничения площадки и снять завышенные ожидания еще до того, как они превратятся в лишние затраты. Аудит, консультации, обсуждение вариантов развития – все это на раннем этапе делает проект предсказуемым и избавляет от переделок.

Например, интегратор может подсказать, что вместо того, чтобы строить ЦОД «на вырост», лучше определить реальный горизонт расширения и разбить его на удобные модули. Если требуется 100 кВт, не стоит ставить две крупные кондиционерные установки «на весь объем» – при низкой загрузке они будут работать некорректно. Рациональнее разбить систему на модули, например по 25 кВт, и подключать их по мере роста нагрузки. Аналогично и с электропитанием: модульные ИБП позволяют увеличивать мощность постепенно, добавляя силовые модули внутри одной платформы. Так можно избежать переплат за лишнюю мощность и наращивать ЦОД постепенно.

Электроснабжение ЦОДа: принципы проектирования, уровни резервирования и типичные ошибки

С точки зрения инженерной инфраструктуры существует две системы, без которых ЦОД просто перестает быть ЦОДом: электроснабжение и охлаждение. Без видеонаблюдения или даже без полноценной системы пожарной безопасности площадка теоретически может какое-то время работать, но без питания и холода – никогда. Поэтому электроснабжение неизбежно становится самой дорогой, сложной и критически значимой частью проекта. И именно от того, как оно будет спроектировано, зависит вся дальнейшая архитектура инженерки. Отправная точка здесь всегда одна и та же: выбор уровня отказоустойчивости.

В инженерной практике опираются на стандарты Tier I–IV, и в России чаще всего выбирают Tier III – оптимальный баланс стоимости и надежности. Этот уровень предполагает резервирование всех ключевых компонентов по схеме n+1, что обеспечивает работу системы при отказе одного элемента. Tier IV требует уже двух независимых контуров электроснабжения, полностью дублирующих друг друга, поэтому встречается редко и главным образом на коммерческих площадках, где простои критичны для выручки. В Москве такие объекты уже есть: годовые плановые остановки там измеряются буквально несколькими часами.

Но даже идеальная схема резервирования не спасает, если ошибки допущены на этапе проектирования или в эксплуатации. Типичная история: заказчик не проводит регламентное сервисное обслуживание: ИБП, щитовое оборудование, кондиционеры работают «до последнего», пока что-то не выходит из строя. Отсюда – аварии и простои, которых можно было избежать. Встречаются и ошибки компоновки. Если оборудование размещено без учета зон обслуживания, к нему потом физически невозможно подойти: поменять фильтр в кондиционере, обслужить батарейный блок ИБП или демонтировать узел. Кажется мелочью, но такие мелочи приводят к вынужденным простоям или дорогим переделкам. Из более наглядных примеров – кейс обследования ЦОДа в Королеве. Система кондиционирования проработала около десяти лет, но вышла из строя существенно раньше ожидаемого срока. Причина – в проекте просто не были предусмотрены маслосъемные петли на трассах, что привело к ускоренному износу оборудования. Это классический пример того, как одна ошибка в проектировании закладывает будущие проблемы в эксплуатации.

Охлаждение как фундамент стабильности ЦОДа: какие технологии работают лучше всего

Система охлаждения – это вторая, наряду с электропитанием, критическая опора ЦОДа. Без нее оборудование выдержит считаные минуты, после чего температура в машинном зале начнет расти лавинообразно. Поэтому именно охлаждение в конечном счете определяет, будет ли работать площадка стабильно или превращаться в «сауну» при любой аварии. В инженерной практике есть два классических подхода, которые применяются в зависимости от масштаба будущего дата-центра.

Для небольших серверных и компактных ЦОДов обычно применяют фреоновые прецизионные системы Direct Expansion. Они стабильно держат параметры в узком диапазоне и хорошо подходят для мощностей, где критична компактность и простота контура. Ключевое ограничение – длина фреоновой трассы: наружные блоки должны располагаться в непосредственной близости от машинного зала.

При росте мощности – примерно от 200–300 кВт и выше – рациональнее переходить на водяную схему Chiller–Fan Coil. Она обеспечивает более низкое энергопотребление, позволяет вводить мощности поэтапно и дает максимальный эффект, когда используется фрикулинг. В холодный период чиллер работает на наружном воздухе практически без компрессоров, что существенно снижает эксплуатационные затраты и улучшает PUE крупных площадок.

В холодном климате фрикулинг становится ключевым элементом снижения энергопотребления. Используют два подхода: прямой, где наружный воздух после фильтрации подается в машинный зал, и непрямой, где он работает только на теплообменник, не контактируя с внутренним контуром. Прямой вариант проще по архитектуре, но требователен к фильтрации и регламенту. Непрямой обеспечивает более высокий уровень безопасности для оборудования и при этом сохраняет эффект снижения энергозатрат за счет низких уличных температур.

Что определяет надежность будущего ЦОДа

Климатические условия – один из первых факторов, которые учитываются при проектировании систем охлаждения и энергоснабжения ЦОДа. Инженеры всегда начинают с анализа минимальных и максимальных температур региона, потому что от них напрямую зависит, как будет вести себя оборудование в самый нагруженный или, наоборот, самый суровый период года. Система кондиционирования работает по-разному при +25 и при +35 градусах наружного воздуха, и ее мощность закладывают так, чтобы она справлялась с тепловой нагрузкой именно в максимально тяжелых условиях, а не в «средней» точке.

При этом распространенное мнение «строить ЦОДы там, где холодно выгоднее» верно лишь частично. Да, мягкий и прохладный климат позволяет намного чаще работать в режиме фрикулинга и заметно снижает среднегодовой PUE. Именно поэтому в регионах вроде Санкт-Петербурга или северной Европы такие решения особенно эффективны. Но при низких температурах (минус тридцать и ниже) появляются другие проблемы. Оборудование должно не просто охлаждать машинный зал, но и оставаться работоспособным в таких условиях круглогодично. Для этого применяются низкотемпературные комплекты, и далеко не все производители способны обеспечить корректную работу систем при морозах до минус шестидесяти. Тем не менее такие проекты встречаются и реализуются – например, в северных регионах, где это реальная эксплуатационная необходимость.

Что касается пиковых нагрузок, то здесь подход довольно прагматичный. Инженерные системы проектируют исходя из полной, стопроцентной нагрузки оборудования – без «скидок» на усреднение или ожидаемый коэффициент спроса. Да, и электроснабжение, и охлаждение имеют допустимую перегрузочную способность и могут кратковременно работать выше номинала, но рассчитывать на это как на норму невозможно. В исключительных случаях допускается проектирование с нижними коэффициентами, когда заказчик четко понимает, что его оборудование никогда не будет работать на 100% – например, останется в диапазоне 70–80% от номинала. Но это скорее исключение, чем правило: надежный ЦОД всегда проектируют под полный тепловой и электрический профиль нагрузки, чтобы он оставался стабильным при любых скачках потребления и внешних условиях. И здесь возникает другая важная тема – выбор формата самого ЦОДа. Когда известно, как объект будет вести себя под максимальной нагрузкой и в самых тяжелых климатических условиях, становится понятно, какой тип площадки вообще имеет смысл строить. Для одних проектов логично идти в капитальное строительство, для других наоборот, критичны сроки ввода и ограничения по площадке, и именно поэтому в России стабильно востребованы модульные и контейнерные ЦОДы.

Модульные и контейнерные форматы: практическая необходимость, а не компромисс

Модульные и контейнерные ЦОДы в России стабильно востребованы – но не из-за моды и не из-за «нового формата». Их выбирают тогда, когда классическое строительство либо невозможно, либо невыгодно по срокам, либо неоправданно по масштабу. Главный фактор здесь – скорость: такие решения позволяют развернуть рабочий ЦОД в разы быстрее, чем капитальное здание, а для многих проектов именно время запуска определяет успех. Когда бизнесу нужно ввести мощности не через 18 месяцев, а через 3–4, альтернатив просто нет.

Вторая причина – предсказуемость. Модульный подход исключает большую часть строительных рисков: инженерия собирается и тестируется на заводе, и на площадке остается только монтаж и ввод в эксплуатацию. Заказчик получает объект с заранее известной стоимостью, сроками и параметрами, без сюрпризов на этапе стройки и без просадок по качеству.

Еще один аргумент – возможность масштабироваться без лишнего капитального замораживания денег. В модульном формате не нужно сразу строить инфраструктуру «на вырост» и надеяться, что она когда-нибудь заполнится. Можно ввести первый объем, отследить реальную динамику загрузки и позже добавить следующий блок. Это важно, потому что многие компании переоценивают будущий рост, а избыточные площади и мощности потом годами простаивают. Модульная архитектура снимает этот риск.

Контейнерные решения востребованы по иной причине: они позволяют закрывать очень конкретные и локальные задачи. Когда объект временный, удаленный, промышленный или распределенный по месторождениям – быстро поставить, отработать и так же быстро демонтировать является ключевым преимуществом. Мы сталкивались со сценариями, когда контейнерный ЦОД оказывался оптимальным и в городской черте, просто потому что внутри здания не было ни одного помещения, отвечающего базовым требованиям по нагрузкам и электроснабжению. В таких случаях контейнер – единственная технически реализуемая альтернатива, и никакая реконструкция здания не решает проблему.

Модульные комплексы востребованы и в других ситуациях – прежде всего там, где площадка формально есть, но капитальное строительство либо затянет сроки, либо приведет к избыточным инвестициям. Это подход, который позволяет разместить полноценный ЦОД без прохождения всего цикла капстроя. Именно поэтому такие решения особенно популярны у компаний, которым нужно быстро развернуть инфраструктуру на собственном участке, но при этом избежать долгих согласований и сохранить возможность регулировать объем строительства под фактические потребности.

Спрос формируют не только удаленные регионы. В городах проблема точно такая же: нехватка подходящих площадей и электрических мощностей. Мы видим, что большинство обращений связано не с желанием «попробовать модульный формат», а с отсутствием реальной альтернативы – здания старые, перекрытия слабые, мощности заняты, и построить классический ЦОД физически негде.

Если смотреть на рынок в целом, картина закономерная: крупные проекты по-прежнему идут в капитальное строительство – при мегаваттных нагрузках и тысячах квадратных метров это единственно рациональный путь. А вот проекты от нескольких стоек до нескольких десятков – условно до сотни – все чаще реализуются модульным способом. И не потому, что он дешевле сам по себе, а потому что быстрее, предсказуемее и точнее вписывается в реальные объемы задач, без перепроектирования зданий и без лишних затрат. Именно поэтому модульные и контейнерные решения сохраняют устойчивую нишу: они закрывают те задачи, которые классический ЦОД закрыть не способен – ни по времени, ни по месту, ни по экономике.

Главные технологические векторы, которые сформируют рынок ЦОДов

Если смотреть на ближайшие годы, драйверы развития инженерной инфраструктуры ЦОДов вполне очевидны. Рост объемов данных никуда не исчез – он остается устойчивым трендом, который напрямую влияет на потребность в новых вычислительных мощностях. Локализация также продолжит играть значимую роль: государственным структурам нужны надежные площадки внутри страны, и этот запрос будет только усиливаться.

Но наиболее ощутимым фактором, вероятно, станет все, что связано с развитием и обучением систем искусственного интеллекта. Мировая практика показывает: проекты в области ИИ требуют колоссальных энергетических и вычислительных ресурсов, а инфраструктура под такие нагрузки должна быть спроектирована на другом уровне плотности и отказоустойчивости. Как только подобные инициативы начнут масштабироваться и в России, влияние на рынок ЦОДов будет неизбежным.

Иными словами, потребность в новых площадках и качественной инженерной инфраструктуре не снизится – напротив, будет расти. А это означает лишь одно: работы впереди много, и задачи будут становиться все сложнее и интереснее.