Виталий Богачук, Автор в Академия Selectel

Привет! На связи Виталий, дежурный системный инженер дата-центра в Selectel. Продолжаем тему, поднятую в наших предыдущих публикациях, где мы говорили об уплотнении серверов линейки ChipCore и усмирении Ryzen® в мини‑корпусе. Сегодня углубимся в специфику размещения по‑настоящему мощного оборудования. Напомню, нашей главной целью было эффективно использовать стандартные 19‑дюймовые серверные стойки для размещения систем, собранных из высокопроизводительных десктопных компонентов. Очевидно, что для решения этой задачи, разработки собственного корпуса не избежать. В отличие от прошлых проектов, появилась новая особенность — железо экстремальной производительности с потребляемой мощностью, значительно превышающей стандартные показатели TDP в 180 Вт. Конфигурации на базе процессоров Intel® Core™ i9-13900K или AMD Ryzen™ 9 7950X с 128 ГБ памяти DDR5 и быстрыми NVMe-накопителями по 2 ТБ — настоящие «печки». Было изначально понятно, что без жидкостной системы охлаждения (СЖО) в этот раз не обойтись. При создании серверов подобного уровня производительности мы сперва взяли стандартный корпус форм-фактора Tower АТХ. Он был оснащен СЖО — чаще всего мы брали модели MSI P240 и С240, которые хорошо справлялась с отводом тепла. Возникла существенная проблема — нерациональное использование пространства внутри стандартных серверных шкафов. В 19-дюймовую стойку удалось установить максимум восемь–девять таких устройств. Этот факт стал значимым ограничением, ведь уровень заполнения стойки не превышал отметку в 18−20%. Такой подход вынудил нас искать пути улучшения компоновки. Общий вид стойки Tower ATX. Рассмотрим возможные способы увеличения плотности установки серверов аналогичного уровня производительности и энергозатрат. Важно: необходимо сохранить при этом высокую эффективность теплоотвода и надежность функционирования. Slim Tower Первоначальная модернизация предполагала создание специального шасси и монтажной панели. Корпус изготавливался методом лазерной резки и гибки из оцинкованного стального листа марки SGCC толщиной 1,2 мм с последующей порошковой окраской. Полка для платформ. При разработке мы в значительной степени опирались на предыдущий опыт создания корпусов, о котором уже рассказывали в других статьях. Чертеж корпуса SlimTower. Высота получилась два юнита (2U). Поскольку корпуса расположились вертикально, их ряд занял 7,5U. Хотя общий объем увеличился по сравнению со стандартным АТХ с горизонтальным размером около 5U, такая компоновка вместила четыре мощнейших вычислительных узла на одной полке. Для отвода тепла мы воспользовались системой жидкостного охлаждения с двухсекционным радиатором. При первичной отладке прототипов степень охлаждения поверхностей измеряли простым пирометром. Ни в одной точке он не зафиксировал температуру выше 85 5°C. Платформа SlimTower с открытой крышкой. После финальной доработки наш смежный отдел тестирования оборудования провел полную серию нагрузочных испытаний. Они применяют специализированное программное обеспечение, которое доводит все компоненты до предельных режимов. Детали своей работы ребята не раскрывают, но финальный отчет подтвердил — система охлаждения полностью справляется с задачей, имеет стабильные показатели и не допускает перегрева никаких компонентов. Блок питания размещался непосредственно внутри платформы. Такое решение дает дополнительное охлаждение и самого блока, и радиаторов СЖО воздухом из холодных коридоров серверной комнаты. Система питания построена на связке двух компонентов: DELTA STS30002SR — автоматический ввод резерва в стойках; Tesla Power TP-STD-C20A04В — блоки распределения питания. Со стороны блоки выглядят как ряд обычных розеток. При этом они бывают как управляемые, так и неуправляемые. На всех стойках линейки ChipCоге мы используем только первый тип, чтобы иметь возможность перезагрузить сервер при необходимости. Продуманная конструкция платформ позволила использовать существующие кабели питания стандартной длины. Нам не пришлось усложнять кабель-менеджмент, изготавливать или заказывать что-то особенное — это еще один плюс к эффективности решения. Общий вид стойки SlimTower со стороны горячего коридора. Внутри же платформ установлен кабель питания собственной разработки С13−С14 длиной 0,6 м с возможностью крепления его к корпусу и вставкой с плавким предохранителем. Общий вид стойки SlimTower со стороны холодного коридора. Для удаленного контроля по‑прежнему используются внешние IP-KVM, о которых мы недавно подробно рассказали в статье. Несмотря на успешность решения, необходимость в дальнейшем повышении компактности не отпала. Требовалось уменьшить размеры конструкции, сохранив возможность установки сетевых карт и компонентов. UltraSlim Вторая модификация продемонстрировала значительное улучшение эффективности. За счет уменьшения толщины конструкции на одной монтажной панели теперь удается разместить пять серверных платформенных блоков вместо прежних четырех. Платформа UltraSlimTower с открытой крышкой. Дополнительным преимуществом стала интеграция поддержки трехсекционного жидкостного охлаждения, что существенно увеличило потенциал теплоотвода. Однако возникает закономерный вопрос: как оптимизировать размещение серверов, оснащенных графическими ускорителями? Решение найдено. FatSlim Разработанный нами новый корпус стал значительным прорывом — появилась возможность интегрировать видеокарты шириной до 142 мм и длиной до 337 мм. Внутри предусмотрено пространство для установки как двух-, так и трехсекционных систем жидкостного охлаждения. Остались посадочные места и для сетевых карт. Платформа FatSlim с открытой крышкой. Крепление для видеокарт и карт расширения было скопировано с обычного ATX корпуса так, чтобы можно было устанавливать видеокарту без дополнительных кронштейнов. Общий вид комбинированной стойки UltraSlimTower+FatSlim со стороны холодного коридора. Поскольку современные видеокарты отличаются высоким энергопотреблением и тепловыделением, мы применили комбинированный подход к монтажу: шесть мощных платформ типа FatSlim и пятнадцать облегченных моделей UltraSlim. Такое решение позволило равномерно распределить тепловую и электрическую нагрузки по всей стойке. Общий вид комбинированной стойки UltraSlimTower+FatSlim со стороны горячего коридора. Итоги Итак, завершилась разработка нашего нестандартного корпуса для высокопроизводительных серверов. Мы смогли кардинально переосмыслить использование стоечного пространства. Итоговая конфигурация из шести платформ FatSlim и пятнадцати UltraSlim позволила разместить 21 сервер в одной стойке. При этом плотность размещения оборудования увеличилась на 163%. Получился идеальный баланс между производительностью, компактностью и эффективностью охлаждения. Оборудование уже пользуется спросом у клиентов. На данный момент не видится дальнейших идей по уплотнению — текущее решение полностью нас удовлетворяет. Нет никаких причин что-то исправлять или улучшать в обозримом будущем. Впрочем… нет предела совершенству. Возможно, через несколько месяцев вы увидите новую статью о том, как мы еще улучшили компоновку высокопроизводительных десктопных компонентов для специальной линейки ChipCore.

Виталий Богачук

Материалы автора

Как в одной стойке разместили не 8, а 21 сервер на Core™ i9 и Ryzen™ 9

Из ATX в SFF: хроники компактной сборки, или как усмирить Ryzen в мини-корпусе

Как уплотнялись серверы линейки ChipCore

Как в одной стойке разместили не 8, а 21 сервер на Core™ i9 и Ryzen™ 9