Задача о трех моделях и одной GPU

Условие

У ML-разработчика Миши есть одна GPU, причем с ограниченной памятью. Он хочет запустить на ней три модели — назовем их A, B и C. Есть нюанс: пары A-B и B-C при одновременной работе вместе выдают ошибку Out of memory.

Задача

Помогите Мише запустить все модели и избежать конфликтной ситуации.

Решение

Схема загрузки и выгрузки будет такая: загружаете модель А → выгружаете модель A, загружаете модель В → выгружаете модель В, загружаете модель С → выгружаете модель С.

Еще больше материалов, чтобы разобраться в ML

• Практический курс по ML
• Как использовать LLM на своем сервере? 5 шагов для ML-команды
• Справляемся с нехваткой открытых данных для обучения ML-моделей