Виталий Богачук, Автор в Академия Selectel

Всем привет! Меня зовут Виталий, я инженер ЦОД. За все время работы с серверами я не раз сталкивался с конфигурациями, где граница между «сервером» и обычным компьютером довольно условна. Хороший процессор, много памяти, быстрые SSD — и перед нами машина, которая вполне способна выполнять серверные задачи. Особенно интересен такой подход для локального машинного обучения, инференса, рендеринга и обработки данных. В этой статье разберем конкретную конфигурацию сервера из «игровых» комплектующих, сравним ее с серверными решениями и посмотрим, где использование потребительского железа действительно оправдано, а где экономия может обернуться дополнительными расходами и проблемами при эксплуатации. Почему «мощный ПК» — это еще не сервер Главное преимущество потребительских комплектующих — соотношение цены и производительности. В качестве примера рассмотрим сборку с RTX™ 4090. Это не самая новая десктопная GPU, но она хорошо подходит для сравнения: на ее примере видна разница между потребительским и серверным подходом. Видеокарта RTX™ 4090 имеет 24 ГБ видеопамяти GDDR6X и энергопотребление до 450 Вт. Для игр это просто очень мощная видеокарта, а для локального инференса или рендеринга — серьезный вычислительный ресурс. Условный компьютер на Ryzen® 9 9950X, 128 ГБ DDR5, несколькими NVMe и RTX™ 4090 может оказаться высокопроизводительной рабочей станцией за сравнительно небольшие деньги. Все компоненты легко найти в обычной рознице, а конфигурацию можно подобрать конкретно под свою задачу. В некоторых сценариях такая машина по вычислительной мощности вполне способна конкурировать с гораздо более дорогими серверными решениями. Но у серверного оборудования есть ряд особенностей, которые не всегда видны в характеристиках процессора или видеокарты. Это коррекция ошибок памяти, удаленное управление, большее количество линий PCI Express, продуманная система охлаждения, резервирование питания, возможность горячей замены компонентов и, что немаловажно, доступность запасных частей. Кроме того, серверные платформы изначально проектируются с расчетом на непрерывную работу 24/7 в течение нескольких лет и постоянную нагрузку. Но это не означает, что серверный процессор автоматически будет быстрее потребительского в любой задаче. Производительность сильно зависит от характера нагрузки. В однопоточных задачах или приложениях, чувствительных к производительности одного ядра, современный десктопный процессор вполне может опережать серверный. Поэтому серверное оборудование выбирают не только и, порой, даже не столько за максимальную производительность, сколько за сочетание производительности, масштабируемости, отказоустойчивости и удобства эксплуатации. Именно в задачах, где важны большое количество ядер, объем памяти, количество PCIe-линий, нескольких ускорителей или постоянная работа без остановок, преимущества серверной платформы проявляются особенно заметно. Сборка на RTX 4090 против серверных GPU: сколько это стоит Рассмотрим конфигурацию, которую частично скомпоновали ранее: Ryzen® 9 9950X, 128 ГБ DDR5, два NVMe по 2 ТБ, RTX™ 4090 и блок питания на 1200–1600 Вт (например, Seasonic VERTEX PX 1200W — это ATX 3.1, 80 PLUS Platinum и штатный 12V-2x6 для современных видеокарт). Добавим корпус и охлаждение, например башенный кулер вроде Noctua NH-D15 G2 или СЖО, например Arctic Liquid Freezer III 360, если корпус поддерживает установку 360-мм радиатора. Таким образом, в зависимости от производителя комплектующих и рынка, получаем 16-ядерный процессор, 128 ГБ оперативной памяти, несколько терабайт быстрого хранилища и 24 ГБ видеопамяти за 600–700 тысяч рублей. На первый взгляд предложение выглядит очень хорошо. NVIDIA® GeForce® RTX™. Источник. Если попытаться собрать за те же деньги полноценный сервер с мощным ускорителем, ситуация меняется. В серверном сегменте за сопоставимую сумму можно получить либо достаточно старую платформу, либо восстановленный сервер предыдущего поколения, либо современную серверную машину, но фактически без видеокарты (или с довольно слабой), так как на покупку мощного GPU уже не хватит денег. Например, готовый Dell PowerEdge R760 может использовать два серверных процессора Intel® Xeon®, большое количество DDR5 ECC RDIMM, несколько PCIe-устройств и резервированные блоки питания. Но при сопоставимом бюджете значительную часть стоимости такой системы съедает сама серверная платформа, поэтому на GPU вроде RTX™ 4090 денег может уже не остаться. Более старые модели Dell PowerEdge, HPE ProLiant или Supermicro можно найти значительно дешевле, но это уже будет либо предыдущая архитектура, либо восстановленное оборудование. Поэтому за те же деньги можно получить сервер с гораздо более развитой инфраструктурой и отказоустойчивостью, но не обязательно сопоставимую с RTX™ 4090 вычислительную мощность GPU. NVIDIA® H100. Источник. При этом сравнивать десктопную RTX 4090 с NVIDIA® A100 или H100 напрямую не совсем корректно: эти ускорители рассчитаны на разные сценарии. Но у RTX™ 4090 есть и конкретное преимущество — пиковая производительность в обычных вычислениях FP32. По заявленным характеристикам она достигает 82,6 TFLOPS, тогда как у A100 этот показатель составляет 19,5 TFLOPS, а у H100 SXM — 67 TFLOPS. То есть в задачах, которые эффективно используют именно FP32, RTX™ 4090 может показать более высокую теоретическую производительность, чем оба серверных ускорителя. Однако для обучения нейросетей и инференса одного показателя FP32 недостаточно. В таких задачах важную роль играют тензорные ядра и поддерживаемые форматы вычислений, в которых H100 располагает значительно большей производительностью. Кроме того, у RTX™ 4090 всего 24 ГБ видеопамяти GDDR6X с пропускной способностью около 1 ТБ/с, тогда как A100 оснащается 80 ГБ HBM2e с пропускной способностью около 2 ТБ/с, а H100 SXM — 80 ГБ HBM с пропускной способностью до 3,35 ТБ/с. H100 также поддерживает NVLink с пропускной способностью до 900 ГБ/с, что важно при объединении нескольких ускорителей. Поэтому преимущество RTX™ 4090 — не универсальное превосходство над серверными GPU, а высокая производительность в определенных задачах при сравнительно доступной цене. Если вычисления хорошо масштабируются на ее архитектуре и укладываются в 24 ГБ памяти, потребительская карта может оказаться выгодным вариантом. Например, модели уровня Llama 3 8B или Qwen 14B при подходящем квантовании можно запускать на одной RTX™ 4090. Для экспериментов, разработки и локального инференса этого может быть достаточно, тогда как для более крупных моделей и масштабных нагрузок преимущества серверных ускорителей становятся заметнее. Про интерфейсы При инференсе, а особенно при обучении больших моделей, GPU постоянно работает с данными в своей памяти. Поэтому в некоторых задачах ограничением становится уже не количество вычислительных блоков, а скорость обмена данными с памятью. Есть и другая проблема: объединение нескольких RTX™ 4090. Две такие видеокарты не превращаются в одну карту с 48 ГБ общей видеопамяти. У RTX™ 4090 нет NVLink, поэтому обмен данными между картами происходит через PCI Express. PCI Express и NVLink Чтобы оценить разницу в скорости такого обмена, можно сравнить теоретическую двунаправленную пропускную способность интерфейсов. У PCIe 4.0 x16, который используется в RTX™ 4090, она составляет около 64 ГБ/с. У PCIe 5.0 x16 — около 128 ГБ/с. Для сравнения, NVLink у H100 SXM обеспечивает до 900 ГБ/с. Получается, что даже PCIe 5.0 заметно уступает специализированному соединению между GPU. На практике это становится важно в задачах, где видеокартам приходится постоянно обмениваться большими объемами данных. Если большая нейросеть не помещается в память одной GPU и ее слои распределены между двумя картами, один ускоритель может постоянно передавать промежуточные результаты другому. Чем больше такого обмена, тем сильнее начинает сказываться ограничение PCI Express. Серверные ускорители вроде H100 проектируются с учетом «многокарточной» работы. В системах NVIDIA® HGX™ несколько GPU соединяются через NVLink и NVSwitch, обеспечивая высокую скорость обмена между ускорителями. А вот для задач, которые хорошо распараллеливаются и требуют минимального обмена между картами, две RTX™ 4090 могут работать вполне эффективно. Можно запустить два независимых процесса обработки изображений, рендеринга или инференса: один процесс использует первую GPU, второй — вторую. В таком случае каждая карта работает практически самостоятельно, а PCI Express используется в основном для загрузки данных. Похожий принцип используется и при обучении моделей. В режиме распределенного обучения каждая GPU может обрабатывать свою часть данных, а затем синхронизировать результаты. При этом эффективность зависит от того, насколько часто и какой объем данных приходится передавать между ускорителями. Слоты есть, а линий может не хватить Если на материнской плате распаяны пять PCIe-разъемов, то можно подумать, что в такую систему без проблем можно установить три видеокарты, HBA и быструю сетевую карту. Однако на практике все чуть сложнее. Конфигурация физических слотов всегда ограничена общим числом линий PCI Express в системе. У обычного настольного процессора часть линий предназначена для видеокарты и накопителей, а дополнительные устройства могут подключаться через чипсет. Между ними уже приходится делить доступную пропускную способность. У серверных процессоров возможностей значительно больше. Например, AMD EPYC™ 8005 предоставляет до 96 линий PCIe 5.0. Это позволяет одновременно подключать несколько GPU, сетевые адаптеры, HBA и NVMe без ограничений, которые встречаются на обычных настольных платформах. Поэтому одна RTX™ 4090 и два NVMe для современного настольного компьютера — обычно не проблема. А вот конфигурация из нескольких GPU, 100-гигабитной сетевой карты, HBA и большого количества NVMe уже требует серьезного расчета топологии PCI Express. Почему On-Die ECC в DDR5 не делает ее серверной С памятью есть отдельный интересный момент. В современных микросхемах DDR5 используется внутренняя коррекция ошибок — On-Die ECC. Она работает непосредственно внутри микросхемы DRAM и помогает исправлять ошибки на этом уровне. Но она не контролирует весь путь данных между процессором и оперативной памятью. Это не то же самое, что системная ECC-память, которая используется в серверах и рабочих станциях. В ECC UDIMM и ECC RDIMM дополнительная информация используется для проверки данных при их передаче между процессором и памятью. Поэтому система может обнаруживать и исправлять ошибки, возникающие уже за пределами самой микросхемы DRAM. ECC UDIMM по конструкции близка к обычной памяти, но содержит дополнительные биты для коррекции ошибок. В ECC RDIMM между контроллером памяти и микросхемами DRAM используется регистр, который снижает нагрузку на контроллер и позволяет устанавливать больше модулей памяти. Поэтому RDIMM чаще используется в системах с большим объемом оперативной памяти. При сборке домашнего или лабораторного сервера важно смотреть не просто на наличие слова ECC в характеристиках памяти, а проверить, какой именно механизм и тип памяти поддерживает конкретная платформа. Системная ECC повышает надежность работы с памятью, но сама по себе не превращает десктопную систему в серверную. Она решает только одну задачу — контроль ошибок памяти. BMC, резервирование питания, горячая замена компонентов и другие серверные функции требуют уже соответствующей платформы. Что делать, если сервер перестал отвечать Одна из вещей, которую особенно быстро начинаешь ценить после работы в ЦОД, — удаленное управление сервером. В серверной плате обычно есть отдельный контроллер управления — BMC. Он работает независимо от основной операционной системы. Веб-интерфейс BMC. Источник. Если Linux завис, по сети не отвечает SSH, а мониторинг показывает тайм-аут, через BMC все еще можно посмотреть состояние оборудования, перезагрузить машину или открыть удаленную консоль. У десктопной материнской платы такого контроллера, как правило, нет. Есть способы решить проблему самостоятельно. Например, можно использовать IP-KVM — небольшое устройство, которое подключается к видеовыходу и USB компьютера и предоставляет удаленную клавиатуру, мышь и изображение. Есть и управляемые розетки или блоки распределения питания, которыми можно удаленно отключить и включить питание компьютера. Но это все-таки обходные решения. Они не заменяют полноценный BMC. В серверном контроллере можно получить гораздо больше информации о температуре, напряжениях, вентиляторах, памяти и других компонентах. Таким образом, IP-KVM или управляемая розетка вполне подходят для домашнего сервера или лаборатории. Для инфраструктуры, где оборудование должно обслуживаться удаленно и без выезда инженера, полноценный BMC гораздо удобнее. Игровой ПК и сервер смотрят на воздух по-разному Еще одно важное отличие — организация воздушного потока. Серверный корпус рассчитан на движение воздуха спереди назад. Вентиляторы создают мощный поток, который последовательно охлаждает накопители, память, процессор и платы расширения. В зависимости от нагрузки серверные вентиляторы могут работать на нескольких тысячах оборотов в минуту. Это шумно, зато позволяет эффективно охлаждать плотную конфигурацию. Игровой компьютер устроен иначе. Большие корпусные вентиляторы работают медленнее и тише, а значительная часть охлаждения приходится непосредственно на видеокарту. Для стандартного корпуса ПК такой подход работает хорошо, но в серверном корпусе с плотной компоновкой могут возникнуть проблемы. Особенно это заметно с мощными видеокартами вроде RTX™ 4090, которые выделяют до 450 Вт тепла. Штатная система охлаждения такой карты рассчитана на установку в обычный корпус и требует достаточного пространства для забора воздуха. Если поставить несколько таких карт вплотную друг к другу или перекрыть им доступ воздуха глухими стенками серверного шасси, охлаждение становится значительно менее эффективным. Поэтому просто установить игровую видеокарту в серверный корпус недостаточно. Нужно учитывать расстояние между картами, направление воздушного потока и сопротивление воздуха. Иногда приходится адаптировать охлаждение — использовать специальный кожух или изменять конструкцию системы так, чтобы общий поток воздуха проходил непосредственно через радиатор видеокарты. Если этого не сделать, под длительной нагрузкой карта будет перегреваться, снижать частоты, а нагретый воздух будет дополнительно повышать температуру расположенных рядом компонентов. Питание Разъемы У RTX™ 4090 широко известен разъем 12VHPWR, а в более новых системах используется его обновленный вариант 12V-2x6. Основная проблема не в самом принципе использования одного компактного разъема, а в высокой мощности, проходящей через него. При неправильной установке, сильном изгибе кабеля возле разъема или плохом контакте может возникнуть локальный нагрев. Поэтому при сборке системы с такой картой важно использовать качественный кабель и не допускать резкого изгиба непосредственно возле разъема. Оплавление разъема 12VHPWR. Источник. Для игрового компьютера это уже неприятная проблема. А для сервера, который должен работать месяцами без вмешательства, тем более стоит отнестись к этому серьезно. Блоки питания В десктопном ПК чаще всего используется один блок питания. Если он выходит из строя, машина выключается. Даже если все остальные компоненты полностью исправны. В сервере можно установить два резервированных блока питания. При отказе одного второй продолжит обеспечивать систему питанием. Но обычный ATX-блок питания нельзя просто поставить в сервер и назвать резервным. Для резервирования нужны специальные блоки питания и соответствующая серверная конструкция: обычно это отдельные модули, которые устанавливаются в корпус и подключаются к общей системе распределения питания. Блоки питания Hot-Swap. Источник. В некоторых моделях такие модули поддерживают горячую замену: неисправный блок можно извлечь и заменить, не выключая сервер. Это одна из тех функций, за которые мы фактически платим в серверном железе. Когда пора переходить на серверную платформу Обычно этот момент наступает не после первого отказа оборудования. Скорее постепенно появляются требования к доступности, дисковая подсистема перестает справляться с нагрузкой, становится необходимо удаленное управление или обслуживание начинает занимать слишком много времени. Ситуация особенно меняется, когда сервер начинает обслуживать клиентов, хранить критичные данные и простой напрямую влияет на работу бизнеса. В таком случае важны уже не только производительность и стоимость комплектующих, но и скорость диагностики и восстановления оборудования. Серверные платформы изначально рассчитаны на круглосуточную эксплуатацию. BMC позволяет удаленно контролировать состояние оборудования, получать информацию об аппаратных ошибках и выполнять перезагрузку независимо от операционной системы. Серверные корпуса также предусматривают резервирование питания и горячую замену отдельных компонентов. Если оборудование размещено в дата-центре и обслуживается по SLA, восстановление после типового отказа может занимать минуты. Инженер получает информацию о неисправности, берет совместимый компонент из фонда запасных частей и выполняет замену. Например, замена неисправного NVMe или модуля памяти может занять 15–30 минут. Так проявляется главное преимущество серверной инфраструктуры: не в том, что ее компоненты никогда не ломаются, а в том, что последствия отказа можно значительно сократить. Представим условный сервис, где один час простоя обходится компании в 10 000 рублей. Три дня недоступности — это уже 720 000 рублей потенциальных потерь. Конечно, это упрощенный пример: реальная стоимость простоя зависит от конкретного бизнеса и сервиса. Но сам принцип важен: экономия в 200 000–300 000 рублей на покупке оборудования может оказаться несущественной, если одна серьезная неисправность приводит к длительному простою. Таким образом, нужно учитывать не только стоимость оборудования, но и стоимость его эксплуатации, обслуживания и возможного простоя. Если эти расходы становятся сопоставимы с экономией на потребительском железе, стоит рассмотреть переход на серверную платформу или аренду готового выделенного сервера: в случае аренды не нужно самостоятельно покупать комплектующие, искать запасные части и заниматься физическим обслуживанием. Когда сервер на десктопных комплектующих имеет смысл После всего сказанного может показаться, что собирать сервер на «игровом» железе вообще не стоит. Но это не так. Подобные системы могут быть вполне рабочим решением для лаборатории, тестового Kubernetes-кластера, CI, локального машинного обучения, рендеринга или внутренних сервисов. Если сервер можно быстро восстановить из резервной копии, а простой не приводит к серьезным последствиям, то можно пойти и таким путем (на свой страх и риск, конечно). Проблемы начинаются, когда этот компьютер постепенно превращается в единственный сервер, на котором работает все. Сначала это тестовая машина, потом на ней появляются Git, CI, несколько виртуальных машин, база данных, файловое хранилище. Через полгода оказывается, что без нее уже невозможно работать — в этот момент требования к оборудованию начинают меняться. Компромисс Мир не делится исключительно на «черное» и «белое»: зачастую можно использовать серверную платформу, ECC-память, BMC, резервированное питание и серверный корпус, но при этом установить потребительскую видеокарту. Получится система, в которой самая дорогая часть — GPU — остается «потребительской», а критически важные для эксплуатации элементы — «серверные». Заключение Собрать сервер из «игровых» комплектующих можно. Более того, в некоторых задачах это действительно рационально и оправдано. Главный вопрос при выборе между игровым и серверным железом звучит не «что быстрее?» и даже не «что дешевле?». Главный вопрос — сколько будет стоить отказ. Если сервер можно восстановить за полчаса и его простой практически ничего не стоит, десктопная платформа вполне может оказаться лучшим вариантом. Если же простой стоит сотни тысяч рублей, а оборудование должно работать круглосуточно и обслуживаться удаленно, экономия на серверных функциях быстро перестает быть экономией.