Комментарий пользователя
Запустили на сервере с RTX 4090 перекодирование видеопотоков. Как только число параллельных потоков на сервере становится более 12, система отказывается открывать новые сессии. В чем проблема и как обойти это ограничение?
Ответ специалиста
Добрый день, Виктор!
За аппаратное сжатие видео в картах NVIDIA отвечает отдельный чип — NVENC™ (NVIDIA® Video Encoder), который работает независимо от вычислительных ядер CUDA.
Проблема десктопных карт — программный лимит драйвера. Согласно спецификации NVIDIA Video Codec SDK, на несертифицированных GPU (non-qualified GPU считаются, например, потребительские карты серии GeForce®) число одновременных сессий кодирования ограничено 12 потоками на всю систему. Даже если вы установите в один сервер две или три карты GeForce®, запустив 13-й поток, вы получите ошибку инициализации NV_ENC_ERR_OUT_OF_STRUCTURE, и процесс ffmpeg завершится со сбоем.
У специализированных серверных карт (например, NVIDIA® L4, L40S) такого программного лимита нет — количество потоков ограничено только объемом видеопамяти и производительностью чипа NVENC™.
Проверка системы
Для начала можно оценить загрузку аппаратных блоков кодирования прямо во время трансляции.
- Проверьте загрузку блоков NVENC™ и NVDEC™:
nvidia-smi dmon -s u
Колонка enc показывает процент загрузки кодера, а dec — декодера. Если enc равен 100%, видеокарта уперлась в аппаратный предел скорости сжатия.
- Посмотрите активные процессы кодирования:
nvidia-smi pmon -s u
Решение
Для плотного потокового транскодирования подходит NVIDIA® L4 (24 ГБ VRAM). На борт этой карты установлено два кодера (NVENC™) и четыре декодера (NVDEC™) поколения Ada Lovelace с поддержкой AV1. При стандарте 1080p/30FPS аппаратный предел двух NVENC™ у L4 составляет до 58 параллельных потоков. При более тяжелом стандарте 1080p/60FPS аппаратный предел двух NVENC™ составит порядка 29 потоков.
Убедитесь, что и декодирование входящего потока, и кодирование исходящего выполняются на стороне GPU в памяти VRAM (Zero-Copy), минуя центральный процессор:
ffmpeg -hwaccel cuda -hwaccel_output_format cuda -i input.mp4 \
-c:v h264_nvenc -preset p4 -b:v 4M -y output.mp4
В интернете популярен сторонний патч драйверов nvidia-patch, снимающий лимит сессий на картах GeForce®. Однако использовать его в продакшене я бы не рекомендовал. После каждого обновления ядра Linux или драйверов патч слетает, что вызывает внезапную остановку вещания. Ну и даже у RTX™ 4090 со снятым лимитом установлен всего один чип декодера NVDEC™ (против четырех чипов у L4). При транскодировании карта очень быстро упрется в раскодирование входящих потоков, и снятие лимита с кодера просто не поможет.
В нашем материале мы подробно разбираем характеристики графических ускорителей под разные задачи. А здесь вы можете выбрать и заказать сервер с графическими ускорителями NVIDIA® L4 или RTX™ PRO 6000 под медиасерверы любой сложности. Настройку и тестирование железа мы возьмем на себя.
