Инфраструктура

Давным‑давно мы рассказывали про собственную разработку корпуса. С тех пор прошло немало времени, линейка серверов ChipCore значительно эволюционировала. В прошлой статье речь шла о корпусах 1 и 1.5 ревизии. Расположение серверов на обычном складском стеллаже не позволяло полноценно охлаждать платформы. Единственный выход был — модернизация и монтаж в серверные стойки. Несколько слов о ChipCore При выборе оборудования для многих клиентов ключевой, а порой и решающий фактор — стоимость. Как правило, ChipCore используют для проектов ограниченным бюджетом. Яркий пример — стартапы. Они ищут наиболее экономичные варианты без потери базовой функциональности. И даже незначительная разница в стоимости становится причиной выбора. Такие заказчики тщательно анализируют прайс-листы, сравнивают предложения, ищут акции, скидки или специальные условия, чтобы минимизировать свои затраты. Чтобы сформировать для них привлекательное предложение, приходится решать много технологических вопросов. Один из них — максимальная плотность размещения оборудования в стойках, выделенных для экономных потребителей. Также в серии Chipcore основа платформы — не серверные, а стандартные десктоп-комплекты. Представьте, что нужно упаковать чемодан для долгой поездки или организовать пространство на крохотной кухне. Главная задача — уместить максимум полезных вещей в небольшом объеме. В дата-центрах инженеры решают схожую проблему. Здесь «пространство» — это серверные стойки, ограниченный и очень дорогой ресурс. ChipCore 2.0: базовый уровень плотности Основой для узлов послужили стандартные комплектующие для настольных ПК — главным образом процессоры Intel Core i5−i7 8−12 поколений. Каждый узел оснащался 32 ГБ оперативной памяти и двумя твердотельными накопителями (SSD) по 480 ГБ. Теплораспределение потребовало своих особенностей конструкции. Блок питания (БП) разместился в передней части корпуса. Такое нестандартное расположение хорошо сказалось на воздушных потоках и улучшило охлаждение в условиях плотной компоновки. Сервер Chipcore 2.0 в разработанном корпусе. Следующим этапом стало создание особых стоечных конструкций. В архитектуре тогда предпочли горизонтальную компоновку и форм-фактор 2U. Ключевой особенностью стала уникальная стальная подложка, на которой размещались два независимых серверных узла, что позволяло устанавливать два сервера на одной панели столь небольшого объема. 3D-макет полки для двух серверов. Получившаяся плотность позволяла разместить 34 платформы в обычной серверной стойке! Сложности не заканчивались. Сказывалось отсутствие поддержки IPMI (Intelligent Platform Management Interface) — стандартного способа удаленного управления серверами. Решением стала технология IP-KVM, позволяющая легко получать доступ к каждому серверу через виртуальные консоли. KVM‑консоль в разработанном нами корпусе для удобства. Важнейшей особенностью платформы ChipCore стала ее модульность. Появилась возможность относительно легко добавить дополнительную сетевую карту или оптический интерфейс. Серверы становились настоящими универсалами. Все проделанные изменения сделали платформу крайне привлекательной для клиентов, которым требовалась максимальная эффективность при минимальных затратах. Монтаж сервера в стойку. Для понимания среды, в которой работают серверы, отвлечемся на небольшое техническое описание методологии горячих и холодных коридоров. При таком подходе стойки стоят плотными рядами. Их передние панели смотрят друг на друга и образуют «холодный коридор». Задние части также обращены друг к другу и формируют «горячий коридор». Через перфорированные плиты фальшпола или из потолочных воздуховодов охлажденный воздух подается в холодный коридор. Затем он разбирается вентиляторами систем охлаждения серверов и проходит через компоненты оборудования. Наконец, отобравший тепло воздух выбрасывается в изолированный горячий коридор. Оттуда поток возвращается к прецизионным кондиционерам для охлаждения и повторения цикла. Основная цель данной технологии — предотвратить смешивание горячих и холодных воздушных потоков. Такое разделение резко повышает эффективность системы охлаждения, снижает энергопотребление и позволяет поддерживать более высокую плотность мощности на стойку. Вид стойки со стороны горячего коридора. Вид стойки с холодного коридора. ChipCore 3.0: смена парадигмы В процессе внедрения и эксплуатации выявился существенный недостаток: неэффективное использование внутреннего пространства стоек. Команда инженеров вновь задумалась над изменениями. Преодоление ограничений предыдущего поколения привело не просто к модернизации, а к полному пересмотру концепции. В основу ChipCore 3.0 легла принципиально новая архитектура — с вертикальным и двусторонним размещением узлов. Серверы теперь устанавливаются стоймя — как с передней, так и с задней стороны. Чертеж самодельного корпуса и полки. Тепловая конструкция лучше спроектирована для работы в ЦОД с организацией «горячих» и «холодных» коридоров. Вертикальное расположение узлов и продуманная компоновка создают прямой и беспрепятственный воздушный поток через нагретые компоненты из холодного коридора в горячий. Центральное расположение БП также способствует более эффективному отводу тепла. Сервер Chipcore 3.0 в разработанном корпусе. Монтаж сервера в стойку. Еще одним существенным ограничением предыдущей ревизии была невозможность поддержки процессоров с TDP выше 120 Вт, что делало платформу неконкурентоспособной для задач следующего поколения. Платформа ChipCore 3.0 была спроектирована таким образом, чтобы поддерживать более производительные процессоры Intel 13−15 поколений с TDP до 180 Вт, что на 50% превышает возможности ChipCore 2.0. Платформа стала хорошо подходить для ресурсоемких приложений и задач с высоким энергопотреблением. В результате новая ревизия позволила размещать до 60 серверов в одной двусторонней стойке, что означает увеличение плотности примерно на 76% по сравнению с Chipcore 2.0. Система питания построена на связке автоматического ввода резерва (АВР) и блоков распределения питания (PDU). Подобные блоки выглядят как ряд обычных розеток, при этом они бывают управляемые и неуправляемые. На всех стойках линейки ChipCore мы используем только первый тип, чтобы иметь возможность перезагрузить сервер при необходимости. Для удаленного контроля по‑прежнему используется внешние IP-KVM. Инженеры предусмотрели варианты подключения различных типов сетевых интерфейсов — от простых локальных сетей до волоконно-оптических линий связи. Кабель-менеджмент устроен таким образом, что все провода аккуратно уложены в органайзеры. Это позволяет обслужить один сервер без отключения других: достаточно отсоединить несколько кабелей, и модуль легко извлекается со всеми компонентами (см. фото выше). Вид стойки с горячего коридора. Вид стойки с холодного коридора. В этой статье мы проследили увлекательную историю проектирования оригинального корпуса сервера. Разработанный нашими инженерами вариант оказался удачным. В двух традиционных стойках 21" нашли место до 120 серверных платформ вместо прежних 72-х, которые когда‑то размещались на стеллаже. Эволюция от Chipcore 2.0 к 3.0 — не просто количественный рост, а качественный скачок. Переход от горизонтального, самодостаточного шасси к вертикальной, интегрированной в стойку конструкции стал результатом смены философии проектирования: от отдельного сервера к стоечной экосистеме. Chipcore 2.0 был попыткой оптимизировать сервер в рамках стандартной стойки. В то же время, конструкция Chipcore 3.0 теряет смысл вне контекста взаимодействия со средой ЦОД — горячими и холодными коридорами. Подобный опыт показывает, что за определенным порогом плотности и TDP проектирование серверов и инфраструктуры ЦОД больше не может рассматриваться как две отдельные дисциплины; они должны разрабатываться совместно. Серверный узел становится компонентом в более крупном вычислительно-тепловом модуле — стойке. Для наглядности ключевые технические различия между всеми поколениями платформы сведены в таблицу. ПараметрTower ChipcoreChipcore 1.0Chipcore 2.0Chipcore 3.0РазмещениеВертикальноеВертикальноеГоризонтальноеВертикальное, двустороннееПлотность серверов на стеллаж (2 стойки 21”)207268120Поддерживаемый TDP CPUдо 120 Втдо 120 Втдо 120 Втдо 180 ВтУдаленное управлениеIP-KVM (внешнее)IP-KVM (внешнее)IP-KVM (внешнее)IP-KVM (внешнее) Третья ревизия успешно решила задачу повышения вычислительной плотности и тепловой мощности. Получилась надежная и масштабируемая основа для интенсивных рабочих нагрузок при минимальной стоимости. Напомним, что в ChipCore используются обычные десктопные компоненты, а не серверные. Интересно, какие изменения произойдут в будущем? По мере того, как TDP процессоров будет превышать 180 Вт, воздушное охлаждение достигнет своих физических пределов. Потребуется ли переход на жидкостное? Возникнет ли необходимость снова конструировать серверные компоненты? Мы обязательно обо всем расскажем.

Инфраструктура

«Сделано по ГОСТу»: как обеспечить защищенный канал

Edge AI: локальный инференс — новый драйвер эффективности бизнеса

Linux без следов: набор практик для приватной работы в сети

Что такое аудит информационной безопасности

Что такое уязвимости

Оценка рисков и моделирование угроз информационной безопасности

Если связь ушла в глубокий оффлайн: как чинят подводные линии связи

Что нужно PostgreSQL: быстрые диски, дорогой процессор и терабайты RAM

Красный vs Зеленый: есть ли у AMD шансы в AI/ML/DL? Часть 2

Новые RISC-V процессоры и GPU: дайджест железа за апрель

NAT — как наследие старого интернета мешает будущему

Зашифруй или проиграешь: реальные истории провалов из-за слабой криптографии