Ежегодный митап MLOps и ML-инженеров
Обсуждаем инфраструктуру для ML, разбираем сложности, тренды и инструменты построения production ML-систем. Особое внимание уделим актуальному тренду — LLM. Поговорим про оптимизацию моделей, безопасность LLM и сокращение расходов на их инференс.
-
18 апреля, 18:00
-
Онлайн-трансляция
Запись митапа
Основные темы
-
Тенденции развития генеративного ИИ -
Оптимизация LLM и инфраструктурные векторы атак на них -
Текущие перспективы Feast в качестве Feature store -
Деплой ML-сервисов и сокращение затрат их работу
Программа
-
17:30 – 18:00
Регистрация участников и экскурсия по дата-центру
-
18:00 – 18:10
Приветственное слово от ведущего
-
18:10 – 18:35
Актуальный опыт внедрения feature store в командах СберМаркет. Feast уже можно внедрять или ждём версию 1.0?
-
Юрий Классен Руководитель группы MLOps, СберМаркет
Одним из важных компонентов ML-платформы является хранилище фичей. Поделимся опытом использования одного из самых популярных, расскажем про его подводные камни, дадим рекомендации и обозначим ожидания от будущих релизов.
СберМаркет — онлайн-площадка с миллионами товаров и покупателей. Внутренние команды уже давно используют ML для решения большого количества задач. Для этого они построили собственную платформу и активно развивают ее с применением актуальных технологий и облачных ресурсов.
-
-
18:35 – 19:00
Непреодолимая легкость повышения утилизации GPU: Allocation и Profiling обычного человека.
-
Антон Алексеев DevOps-инженер, Selectel -
Ефим Головин MLOps-инженер, Selectel
Расскажем, как сократить расходы на самый дорогой ресурс в ML-системах. Поговорим о выборе конфигураций серверов, запуске на одной GPU нескольких небольших ML-задач и объединении карт для выполнения одной большой задачи.
Selectel — крупнейший независимый провайдер IT-инфраструктуры в России. Широкий выбор профессиональных GPU-карт, 15-летний опыт работы с серверным оборудованием, 1 место в рейтинге провайдеров GPU Cloud 2023.
-
-
19:00 – 19:35
Как задеплоить свой ML-проект в разных облаках, если ты Data scientist и у тебя лапки в DevOps.
-
Сергей Мезенцев Individual contributor, Dstack
Расскажем про open source инструмент, позволяющий без знаний инфраструктурных инструментов и особенностей провайдеров деплоить в них свои ML-сервисы.
Dstack — платформа с открытым исходным кодом, которая помогает ML-командам получать инфраструктуру для разработки, обучения и инференса ML-моделей во множестве облачных провайдеров.
-
-
19:35 – 20:00
Перерыв на кофе и неформальное общение со спикерами
-
20:00 – 20:25
Тренды GenAI их влияние на подходы к консалтингу B2B-компаний.
-
Василий Крикунов Руководитель проектов в области ИИ, Axenix
Расскажем про тренды в области Generative AI: как они влияют на стратегию развития компании Axenix и почему привели к разработке собственной платформы для LLM-ботов.
Axenix (ex. Accenture) — консалтинговая компания с 30-летним опытом в полномасштабных end‑to‑end проектах: создании бизнес- и ИТ‑стратегий с полноценным внедрением, разработке технологических решений и ПО, аутсорсинге.
-
-
20:25 – 20:50
Быстрый и экономичный инференс LLM в прикладных задачах.
-
Алексей Гончаров CEO и founder, MIL Team
LLM-модели требуют большого количества вычислительных ресурсов и для обучения, и для inference. Разберем опыт уменьшения размеров LLM под одну GPU без потери качества.
MIL Team – российская команда разработки и поставки решений в области AI. Помогает компаниям проводить исследования и разрабатывать уникальные технологии в различных направлениях: NLP, CV, Sensors, DL Models Compression, RL, etc.
-
-
20:50 – 21:15
Инфраструктурные векторы атак на LLM: что говорит OWASP и чего в нем нет.
-
Евгений Кокуйкин Руководитель AI продуктов, Raft
Обсудим архитектуру LLM приложений, разберем угрозы, связанные с инфраструктурными элементами приложений. Поговорим про безопасность LLM, supply chain, техники защиты и роль CISO при внедрении генеративного ИИ.
Raft AI Labs — подразделение компании Raft, которое специализируется на разработке и интеграции решений с использованием новейших AI-технологий.
-
-
21:15 – 22:00
Общение и ответы на вопросы
-
А еще
Стенды с GPU-картами, розыгрыш мерча, знакомства, пицца и пиво после окончания докладов.
Кому будет интересно на митапе
-
MLOps и DevOps в ML-проектах
-
DevOps-инженерам и Data scientists
-
Менеджерам ML-проектов
-
Техническим руководителям и CTO
Присоединяйтесь к сообществу У нас есть сообщество «MLечный путь» в Telegram. Там мы обсуждаем организацию production ML-сервисов, делимся опытом и публикуем материалы по DataOps и MLOps.
