Комментарий пользователя
Заказываем новый сервер и не можем толком разобраться, как подключать мосты NVlink при наличии карт H200 в сервере. Подскажите, есть ли мосты у вас и как вы их подключаете?
Ответ специалиста
Да, мы используем в своих серверах мосты NVLink.
Для карт H200 подходят два типа мостов:
- 900-23945-0000-000 NVIDIA® 2-Way NVLink bridge — мост для объединения двух карт, пропускная способность до 900 ГБ/с;
- 900-23946-0000-000 NVIDIA® 4-Way NVLink Bridge — мост для объединения четырех карт, пропускная способность до 1 800 ГБ/с.
Особенности при подключении:
- Стоит учитывать габаритные ограничения платформы: мосты NVLink устанавливаются сверху карт H200 и, хоть и занимают не очень много места, все равно увеличивают высоту карт. Следовательно, стоит не допускать соприкосновения крышки корпуса сервера с мостом;
- Мосты NVLink бывают восприимчивы к перекосу. Убедитесь, что карты стоят ровно и плотно защелкните мост во всех слотах сразу.
Какой мост использовать и в каких количествах — решение должно исходить из того, какое количество карт требуется объединить.
Использовать мост 4-Way NVLink Bridge следует в том случае, если вам требуется, например, массив для больших моделей и в сервере установлены восемь карт.
С помощью двух мостов получится создать два массива по четыре карты. Стоит учитывать, что между собой массивы будут соединятся через шину PCIe, а не NVLink.
Если у вас в сервере четыре карты, то потребуется один мост.
Если у вас в сервере две карты, то используйте один мост 2-Way NVLink bridge (в отличие от мостов H100).
Впрочем, и восемь карт H200 можно объединить в четыре массива по две карты с помощью моста 2-Way. Однако не забывайте, что так вы получите четыре изолированных массива. Такое решение подойдет, например, если вам требуется запускать несколько небольших моделей одновременно.
Отмечу, что для подключения пары карт H100 требуется три моста NVLink. То есть для объединения восьми карт H100 в 4 массива по 2 карты потребуется в общей сложности 12 мостов (по три двухслотовых моста на каждую из четырех пар).
Хотите узнать, как мощные ускорители работают на практике? В нашем материале подробно разбираем процесс запуска NVIDIA® H200 в инфраструктуре Selectel. Вы можете выбрать и заказать сервер с GPU под свои проекты прямо сейчас — а правильную настройку и подключение оборудования мы сделаем за вас.
