Эпоха высоконагруженных стоек: ИИ меняет правила строительства дата-центров
Эксперт: Николай Шеметов, технический директор DataSpace
То, что еще недавно обсуждалось на профильных конференциях как технология завтрашнего дня для единичных суперкомпьютеров, стало массовым рыночным запросом. Клиенты приходят с прямыми требованиями: «Готов ли ваш ЦОД физически принять и обеспечить бесперебойное охлаждение высоконагруженной стойки для ИИ-задач?». Для многих дата-центров ответ на этот вопрос звучит как приговор старой инфраструктуре.
ИИ-фактор колоссальных перемен
Дискуссии о вызовах развития искусственного интеллекта традиционно фокусируются на вычислительных мощностях. Активно обсуждается дефицит памяти, производительность процессоров и стоимость GPU-кластеров. Однако новым «узким местом» здесь становится инженерный слой, обеспечивающий бесперебойную работу ИТ-железа для ИИ.
В отличие от традиционных корпоративных приложений, ИИ концентрирует огромный объем вычислений в ограниченном пространстве. Именно поэтому рост производительности сопровождается скачкообразным увеличением плотности энергопотребления и тепловыделения.
Несколько лет назад стандартной считалась плотность размещения оборудования на уровне 5–10 кВт на стойку. Современные ИИ-нагрузки нуждаются в мощностях в диапазоне от 30 до 60кВт, уверенно двигаясь к 100 и даже 200 кВт. Новый калибр нагрузок нивелирует прежние инженерные подходы, которые начинают упираться в прямые физические ограничения. Требуются кабельные линии большего сечения, пересматриваются схемы энергоснабжения, меняется архитектура системы охлаждения, появляются дополнительные инженерные контуры и новые требования к отказоустойчивости.
Высоконагруженная стойка становится самостоятельным инженерным комплексом, вокруг которого приходится проектировать значительную часть инфраструктуры машинного зала. Переход к таким нагрузкам уже нельзя рассматривать как очередной этап модернизации оборудования. Во многих случаях речь идет о перепроектировании инженерной среды.
Живительный холод
Наиболее заметно смена инженерной модели дата-центра в ИИ-перспективе проявляется в системах охлаждения. Если раньше нужно было организовать отвод условных 7 кВт с помощью вентиляторов и климатических систем, то теперь речь идет об управлении тепловым потоком промышленного масштаба, сосредоточенным в габаритах одного шкафа.
Классическая архитектура охлаждения «воздух-воздух» здесь бессильна – не хватает аэродинамики и пропускной способности каналов. Более того, вендоры ИИ-специализированного оборудования жестко регламентируют тепловые режимы. Нарушение температурных норм в зоне вычислительных ядер ведет не просто к снижению производительности (троттлингу), но и к критическому износу компонентов и мгновенному нарушению SLA.
Современный подход предполагает гибридную схему теплоотвода. Значительная часть тепла отводится через жидкостный контур (Liquid Cooling), а оставшийся объем удаляется традиционными системами кондиционирования машинного зала. Вместо одной инженерной системы фактически появляются две, которые должны работать синхронно и обеспечивать стабильные параметры эксплуатации оборудования.
Инженерам приходится учитывать новые сценарии отказов: переход на жидкости создает принципиально новый класс угроз – риск локальных протечек прямо в машинном зале. В классической схеме «воздух-воздух» отказ одного климатического агрегата из резерва N+1 легко компенсируется оставшимися. С жидкостными контурами алгоритмы противоаварийных переключений становятся многократно сложнее.
Гидравлическая система стойки имеет свои микроконтуры. При возникновении протечки инженерам службы эксплуатации необходимо быстро принимать решения: какую именно ветку или клапан перекрыть, чтобы локализовать аварию, но при этом не обесточить и не «заглушить» охлаждение критически важных вычислительных процессов клиента. Граница ответственности становится экстремально тонкой, ошибка в отключении может привести к нарушению SLA и масштабному отключению оборудования.
На рынке Liquid Cooling сейчас отчетливо сформировались два технологических направления – открытые (погружные) и закрытые (присоединяемые) системы.
Погружные системы предполагают размещение вычислительных узлов в специальные ванны, полностью заполненные диэлектрической жидкостью.
Альтернативой выступают закрытые системы с прямым присоединением радиаторов охлаждения (Direct-to-Chip). В этом случае к процессорным узлам сервера подключаются гибкие шланги, отводящие тепло на радиаторный блок внутри той же стойки.
Именно второй подход сейчас берет верх на рынке: большинство крупных производителей вычислительного железа для ИИ ориентируют свои платформы именно на присоединяемые системы.
Иллюзия «апгрейда»: почему старые ЦОДы не спасти модернизацией
Логичный вопрос: нельзя ли обойтись малой кровью? Обновить климатическую систему, проложить более мощные кабели и без капитальных затрат запустить ИИ-инфраструктуру в уже существующих машинных залах. Короткий ответ – нет.
Инженерная инфраструктура ЦОДа – это не набор модулей, которые можно перестраивать на ходу. Попытка превратить классический дата-центр в площадку для высоконагруженных стоек сродни установке новейших реактивных двигателей на фюзеляж старого винтового самолета. Да, тяга будет колоссальной, но конструкция планера, топливная система и аэродинамика не позволят реализовать этот потенциал, а в худшем случае приведут к катастрофе. Базовая инфраструктура центра обработки данных проектируется и реализуется единожды, под жестко заданные расчетные параметры.
Допустим, в части машзала удалось внедрить системы Liquid Cooling. Тут же возникает проблема неэффективного использования пространства – так называемые «мертвые зоны». Электрическая мощность старого зала была равномерно распределена под прежние стандарты (те самые 5–7 кВт на шкаф). Вы ставите одну высоконагруженную стойку, и она мгновенно съедает выделенную на целый ряд мощность. Из-за исчерпания лимитов по электрике и охлаждению вокруг ИИ-стойки образуются пустые площади, которые уже нельзя заполнить ни средне-, ни низконагруженным оборудованием.
Точечные «тюнинг»-проекты, когда дата-центр подключает одну-две стойки для конкретного клиента, на рынке существуют. Но когда спрос на искусственный интеллект перешагнет критический порог, единственным рабочим решением станет либо полная перепланировка и переориентация действующего машзала (что по сложности и цене сопоставимо со строительством нового), либо возведение специализированных ЦОДов с нуля, изначально спроектированных под плотность в 100–200 кВт на стойку.
Экономика ИИ-инфраструктуры: миниатюризация и кастомные SLA
Переход на высоконагруженные стойки переписывает и экономику дата-центров. На первый взгляд, внедрение ИИ-инфраструктуры должно быть колоссально дорогим удовольствием, однако физика процессов диктует свои, довольно парадоксальные правила.
Возьмем для расчета условные 140 кВт ИТ-нагрузки. В классической схеме это целый ряд из 20 серверных стоек мощностью по 7 кВт: двадцать точек монтажа, десятки метров кабельных трасс, огромное количество коммутационных панелей и занятая полезная площадь (white space). В новой парадигме те же 140 кВт умещаются всего в двух стойках: одной вычислительной и одной технологической (так называемой CDU – Cooling Distribution Unit), которая обслуживает жидкостный контур.
Для клиента это означает радикальное сокращение арендуемых площадей. Для ЦОДа – рост доходности с каждого квадратного метра машинного зала. Более того, с точки зрения электрики подключить одну сверхмощную стойку толстыми силовыми кабелями оказывается дешевле и логичнее, чем тянуть к двадцати отдельным шкафам десятки кабелей меньшего сечения. Топология энергораспределения упрощается, снижаются затраты на коммутацию.
Второй серьезный сдвиг в экономике касается архитектуры резервирования и, как следствие, стоимости SLA. Исторически коммерческий ЦОД продавал клиентам избыточную отказоустойчивость: стандарты Tier III/IV подразумевают резервирование систем по схеме N+1 или 2N абсолютно для всего парка оборудования. Клиент платил за гарантированную работу каждого сервера 24/7.
С высоконагруженными ИИ-кластерами этот подход трансформируется в сторону декомпозиции. Искусственный интеллект позволяет дробить вычислительные задачи. В ИИ-инфраструктуре заказчика есть критически важные узлы, остановка которых недопустима. Их действительно нужно защищать по максимальному стандарту 2N. Но есть и вычислительные модули, которые могут быть временно отключены: если такой узел «упадет», процесс обучения или генерации замедлится, но не разрушится, а после перезапуска система спокойно продолжит работу.
Это позволяет ЦОДам и заказчикам совместно выстраивать гибкие, кастомизированные SLA. Отказ от тотального резервирования менее важных сегментов ИИ-инфраструктуры существенно снижает капитальные и операционные затраты на проект, делая внедрение искусственного интеллекта экономически обоснованным для более широкого круга корпоративных клиентов.
Картина рынка будущего
В связи с этим начинает меняться и рыночная расстановка сил. Кто именно будет строить эти новые, специализированные ЦОДы? Ожидать, что мелкие и средние колокационные площадки массово перестроят свои залы под Liquid Cooling, не приходится – это не их бизнес-модель. Реальными бенефициарами нового тренда станут две категории игроков.
- Первые – гиперскейлеры. У них есть огромные пулы клиентов, растущие пропорционально их мощностям, и масштаб, позволяющий запускать новые очереди строительства, изначально заточенные под ИИ.
- Вторые – крупные корпорации, которые будут строить сугубо собственные, закрытые контуры дата-центров под свои нужды, не желая делить критически важные вычислительные мощности ни с кем на чужой площадке.
Для остальных игроков рынка высоконагруженные стойки останутся точечным, нишевым продуктом, который, впрочем, способен занимать в их линейке заметное место и решать критически важные задачи клиентов.
