Как выбрать видеокарту для обучения нейросетей и deep learning

Разница между CPU и GPU в машинном обучении

Центральный (CPU) и графический процессор (GPU) — многофункциональные компоненты, которые отвечают за выполнение вычислительных задач. Основное отличие между ними — архитектура и характер обработки данных. Рассмотрим каждое устройство подробнее.

CPU работает с широким диапазоном последовательных задач — например, вычисление, управление памятью, многопоточность и ввод-вывод данных. Но теряет свою производительность, когда выполняет сразу несколько операций одновременно. GPU, напротив, поддерживает параллельную обработку данных. 

Изначально GPU создавали для обработки графического контента, но его архитектура подходит для выполнения математических операций, таких как матричные вычисления и векторные преобразования. За счет большого количества ядер GPU может обрабатывать тысячи потоков одновременно и быстрее решать задачи, которые требуют параллельного выполнения множества однотипных операций.

Отличие в подходе к вычислениям между CPU и GPU можно увидеть в задачах deep learning (глубокого обучения) и data science. В них процесс работы нейронных сетей состоит из многочисленных операций над большими массивами данных, например матричных умножений. Но если GPU выполняет операции благодаря параллельной архитектуре, то CPU даже с несколькими ядрами не сможет их обработать с той же скоростью и эффективностью. В результате CPU значительно замедляет процесс работы ML-моделей с большим объемом параметров.

Однако нельзя полностью исключить роль CPU в machine learning. Центральный процессор помогает выполнять сложные логические операции и последовательные вычисления, которые трудно распараллелить, например вычисления в рекуррентных сетях (RNN, GRU, LSTM). Также CPU может обрабатывать небольшие вычислительные задачи — линейные регрессии, наивные байесовские модели и другие. 

Как работают видеокарты для обучения нейросетей и искусственного интеллекта

Современные GPU могут обрабатывать большие объемы данных с помощью параллельных вычислений. Разберем ключевые технологии, которые помогают процессорам эффективнее выполнять свои ML- и AI-задачи.

CUDA

CUDA® — программная модель от NVIDIA®, которая предоставляет удобные инструменты для организации параллельных вычислений. С ее помощью специалисты могут распределять нагрузку GPU по ядрам, чтобы одновременно выполнять несколько вычислений. Такой подход часто используют в ML, когда необходимо обработать тысячи однотипных операций, например в сверточной нейронной сети.

Иерархия памяти

Производительность GPU зависит не только от характеристик, но и от организации ее памяти. Иерархия состоит из нескольких компонентов:

• глобальная память; 
• локальная память;
• L1-, L2-кэш и регистры. 

Глобальная память обеспечивает доступ ко всем данным, но имеет медленную скорость по сравнению с кэшами и регистрами. Последние, напротив, обладают высокой скоростью, но доступны только определенным ядрам, которые играют ключевую роль при локальных вычислениях.

Эффективность GPU при глубоком обучении

GPU проявляет свою максимальную эффективность в задачах глубокого обучения, если обладает возможностью параллельной обработки. Но не все процессоры могут похвастаться такими характеристиками. Среди ключевых факторов эффективности GPU — обработка матричных операций и пропускная способность памяти. Матричные операции являются основой большинства вычислений в нейросетях, и GPU оптимизированы для их выполнения благодаря своей архитектуре.

Работа с матричными операциями. В большинстве вычислений в нейросетях задействованы сложные операции: свертки, перемножение матриц и другие. GPU может выполнять их параллельно и обрабатывать быстрее, чем на CPU. А чтобы увеличить производительность в ML-задачах, в том числе при работе с GPT- и BERT-архитектурой, вендоры добавляют тензорные ядра в видеокарты нового поколения.

Пропускная способность памяти. Чем быстрее GPU передает данные между памятью и ядрами, тем эффективнее работает модель. В этом плане хорошо себя показывают линейки ускорителей RTX и Tesla. Также стоит обратить внимание на  объем памяти: от этого зависит количество данных нейросетей, которые помещаются в оперативку.

Как выбрать GPU для машинного обучения

 Рассмотрим наиболее важные характеристики видеокарт для генерации в нейросетях.

Объем памяти для разных задач. Небольшим проектам или задачам, таким как обучение нейросетей на видеокарте, нередко хватает 8-16 ГБ. Однако глубоким нейронным сетям с огромным объемом данных подойдут GPU с видеопамятью от 24 ГБ.

Общая память, L1-кэш и регистры. Общая память служит для хранения данных и веса моделей, а ее объем определяет максимальные размеры, с которыми можно работать. Кэши L1 и L2 предоставляют  быстрый доступ к часто используемым данным и минимизируют задержки при обращении к глобальной памяти. Количество регистров также влияет на скорость вычислений: они обеспечивают самый быстрый доступ к данным для выполнения операций.

Пропускная способность памяти. Определяет, насколько быстро процессор может передавать данные между памятью и ядрами, поэтому критична для обучения моделей. GPU с повышенной пропускной способностью обеспечивают высокую производительность в задачах, которые требуют быструю передачу больших объемов данных.

Тензорные ядра. Позволяют ускорять выполнение матричных операций и обрабатывать несколько одновременно. С их помощью можно оптимизировать  вычисления.

• Система охлаждения. Недостаточное охлаждение приводит к перегреву и потере производительности, поэтому при выборе комплектующих важно учитывать наличие эффективных систем. Например, водяного охлаждения, если кулер по умолчанию недостаточно эффективен.
• Электропитание. Современные видеокарты потребляют более 300 Вт⋅ч, поэтому необходимо обеспечить ML-системе стабильное электроснабжение. Эту особенность стоит учитывать при выборе блока питания для рабочей станции.

Работа на нескольких видеокартах

Если распределить задачи на несколько GPU в одной системе или кластере, можно  значительно ускорить обучение сложных моделей. Для этого понадобятся такие технологии, как NVIDIA NVLink: они обеспечивают высокоскоростное соединение между GPU и минимизируют задержки.

Рекомендации по охлаждению и электропитанию для GPU-кластеров

GPU-кластеры требуют продуманной системы охлаждения: когда несколько работают одновременно, то выделяют много тепла. Лучшее решение для таких систем — промышленные системы охлаждения в серверных помещениях или дата-центрах. Последние предлагают мощные блоки питания, которые обеспечивают стабильную подачу энергии для нескольких GPU. Это оможет поддерживать производительность и предотвращать сбои.

Производительность в задачах перемножения матриц с тензорными ядрами и без них

Когда еще не было тензорных ядер, перемножение матриц выполняли на обычных CUDA-видеокартах, которые демонстрировали высокую производительность по сравнению с CPU. Но такие вычисления имели ограничение по скорости и эффективности: каждое ядро могло выполнить только одну операцию за такт. И хотя обычные CUDA-ядра и ускоряют перемножение матриц по сравнению с CPU, они не всегда могут обеспечить достаточную производительность.

Со временем компании разработали решение для ускорения перемножения матриц — тензорные ядра. Они одновременно выполняли несколько операций и существенно увеличивали скорость обучения. Например, вместо одной операции за такт тензорные ядра обрабатывали до четырех параллельно. Полезно в случае, когда сложность моделей постоянно растет, а объемы данных увеличиваются.

Тензорные ядра значительно ускоряют матричные операции и эффективнее обрабатывают разреженные матрицы — последнее важно для экономии памяти. Видеокарты серии NVIDIA^® A100 или RTX™ 30 демонстрируют кратное увеличение производительности по сравнению с моделями без этих ядер, поэтому будут оптимальным решением для задач deep learning.

Обзор актуальных микроархитектур видеокарт

Топовые видеокарты с современной архитектурой, например NVIDIA^® Ampere или AMD^® RDNA  предлагают разнообразные решения для ML. Основное различие между ними  — способности эффективно обрабатывать данные с низкой точностью и регулировать тепловыделение. Рассмотрим их ключевые особенности.

• Архитектура Ampere от NVIDIA^® предлагает значительное увеличение производительности благодаря увеличенному числу тензорных ядер. Характерный пример подобного GPU — NVIDIA^® RTX 3090. В архитектуре AMD^® RDNA 2 также наблюдается улучшение производительности, но она отстает по числу специализированных ядер для машинного обучения.
• Одно из ключевых преимуществ современной архитектуры — поддержка разреженного обучения и вычислений с низкой точностью. Разреженные вычисления позволяют уменьшить количество операций и ускорить обучение моделей, когда отбрасывают нулевые значения в матрицах. В сборке Ampere и Ada Lovelace находятся тензорные ядра, которые поддерживают такую оптимизацию. Вычисления с низкой точностью — FP16, BF16, INT8 — позволяют быстро обрабатывать данные, снижать требования к памяти и повышать общую эффективность.
• Одной из главных проблем мощных видеокарт является теплоотвод. Видеокарты нового поколения, особенно с тремя слотами, требуют эффективного охлаждения, чтобы избежать перегрева и снижения производительности. Например, карты Ampere выделяют значительное количество тепла из-за высокой плотности вычислительных ядер. Для эффективного теплоотвода используются мощные системы охлаждения.
• Современные архитектуры видеокарт предлагают высокую пропускную способность памяти. Например, карты Ampere используют память GDDR 6X, которая уменьшает время ожидания при работе с большими матрицами.
• Трехслотовые карты, например NVIDIA^® RTX™ 3090, A100, энергозатратны. Потребляемая мощность таких карт может превышать 300 Вт, поэтому требует надежных блоков питания и продуманной системы охлаждения.

Какие GPU лучше не использовать для ML

При выборе видеокарты для искусственного интеллекта нужно понимать, что не все модели подходят для работы с нейросетями. Некоторые GPU хоть и справляются с графическими задачами, но могут оказаться неэффективными для ML.

• Игровые видеокарты начального уровня. Такие GPU, как например NVIDIA^® GTX 1650 или AMD RX 550, выполняют базовые графические операции, но не подходят для серьезных ML-задач. Они имеют малое количество CUDA- или тензорных ядер, ограниченную память и пониженную пропускную способность.
• Видеокарты без тензорных ядер. Хотя старшие модели видеокарт, например NVIDIA^® GTX 1080, все еще полезны для некоторых ML-задач. Однако без тензорных ядер их эффективность значительно меньше по сравнению с современными моделями. Разумеется, без таких ядер видеокарты будут медленнее обрабатывать задачи, связанные и с deep learning.
• Видеокарты с малым объемом памяти. Для задач машинного обучения объем видеопамяти также важен. Видеокарты с 4-6 ГБ памяти, как например начальные модели AMD^® или старые NVIDIA^®, ограничивают возможности при обучении. Если модель не помещается в память, то ее обучение замедляется, а GPU теряет свою производительность, поэтому такие GPU для машинного обучения не подходят.
• Старые поколения GPU. Такие модели, как NVIDIA^® Kepler или Maxwell, до сих пор применяют в некоторых ML-задачах. Однако они значительно уступают новым архитектурам в плане производительности и энергоэффективности. К примеру, FlashAttention поддерживается только с архитектурой Ampere и выше.

Варианты процессоров для машинного обучения

Разные задачи требовательны к разным характеристикам. В одних важна производительность, в других — низкая цена с приемлемым уровнем эффективности. Рассмотрим оптимальные модели: 

• Лучшая производительность — AMD^® Ryzen Threadripper 3960X. Имеет 24 ядра и 48 потока, поэтому обеспечивает впечатляющие показатели обработки данных. Благодаря улучшенной системе охлаждения и повышенной производительности он прекрасно справляется с требовательными задачами.
• Оптимальное соотношение цена/качество — Intel^® Core i7-12700K. Имеет 12 ядер и 20 потоков, поэтому предлагает отличную производительность при разумной цене. При этом демонстрирует высокую скорость и подходит для широкого спектра задач.
• Доступный вариант — Intel^® Core i5-12600K. Обладает 10 ядрами и 16 потоками и предлагает отличную производительность за свои деньги. Полезен  тем, кто ищет эффективное решение по доступной цене и не хочет жертвовать качеством.

Ответы на распространенные вопросы

В заключении подготовили ответы на те вопросы, которые чаще всего задают нам клиенты. Возможно, наши советы помогут вам выбрать подходящую конфигурацию.

Можно ли использовать GPU разных типов?

Да, но это может привести к снижению общей производительности, так как скорость обработки данных будет соответствовать наименее мощному GPU.

Что такое NVLink и полезно ли это?

Да, это полезно. NVLink — технология скоростного соединения между GPU, которая позволяет быстрее обмениваться данными между видеокартами.

Что нужно для параллелизации проекта между двумя машинами?

Необходимо настроить стабильное и скоростное сетевое соединение, а также использовать распределенные библиотеки — например, MPI и Horovod — для синхронизации машин.

Подходят ли алгоритмы перемножения разреженных матриц для любых разреженных матриц?

Нет, оценка эффективности таких алгоритмов зависит от структуры разреженной матрицы. Однако не все разреженные матрицы можно эффективно обработать с помощью этих алгоритмов.

Нужен ли процессор от Intel для работы с несколькими GPU?

Необязательно. Чипы AMD также поддерживают работу с несколькими GPU, но Intel предлагает более широкую поддержку для определенных приложений.

Догонят ли AMD GPU + ROCm когда-нибудь NVIDIA GPU + CUDA?

Или, проще говоря, подойдет ли AMD видеокарта для машинного обучения? AMD активно развивает ROCm и постепенно сокращает разрыв, но на данный момент CUDA остается лидером по производительности и экосистеме. Так что запуск нейросети на видеокарте NVIDIA — пока оптимальный вариант.

Когда лучше использовать облачные сервисы, а когда – специальный компьютер с GPU?

Облако подойдет для кратковременных проектов и масштабируемых задач. Для долгосрочных проектов с постоянной нагрузкой лучше использовать серверы с GPU.