Запустили Inference-платформу для сокращения time-to-market AI-продуктов

Inference-платформа — это новое решение в линейке ML-продуктов Selectel. Оно позволяет превратить обученную ML-модель в готовый API для эксплуатации в продуктивной среде. Мы настроим платформу под вас, заниматься сложной настройкой и разработкой не придется.

Платформа дополняет решения Selectel для AI-задач: выделенные и облачные серверы, в том числе с GPU, преднастроенные виртуальные машины для Data Science и анализа данных, Managed Kubernetes с GPU и ML-платформу.

Что это меняет

Главная задача Inference-платформы — сократить time-to-market AI-продуктов. Кроме этого, решение упростит деплой, масштабирование и обновление версий ML-моделей. Для запуска не нужен опыт в настройке сложной инфраструктуры. С решением Selectel компании смогут не только улучшить свои текущие проекты в области машинного обучения, но и эффективнее реагировать на вызовы рынка, получая доступ к производительной и гибкой инфраструктуре.

Selectel помог множеству компаний построить инфраструктуру для решения AI- и ML-задач. Накопленная за последние годы экспертиза способствует развитию существующих продуктов и запуску новых. В прошлом году линейка наших решений пополнилась кастомизируемой ML-платформой для обучения моделей. Клиентский опыт ее использования позволил лучше понять актуальные ожидания от платформенных ML-продуктов.

Зрелость российского ‎рынка AI увеличивается, появляется большое количество готовых ML-моделей. Они не требуют значительных ресурсов на доработку под специфику конкретной клиентской задачи. Следовательно, больше компаний включают ML-сервисы в свой IT-ландшафт. Мы стремимся обеспечить нашим клиентам широкий выбор эффективных решений, которые позволят применять ML-модели даже без опыта. Запуск Inference-платформы является логичным шагом в этом направлении.

Кому подойдет решение

Inference-платформа актуальна для компаний, которые используют в своей работе ML-модели. Например, применяют голосовых роботов для автоматизации работы колл-центров, чат-ботов для консультаций сотрудников и клиентов, нейросети — для распознавания изображений и так далее. Продукт подойдет в том числе при работе с ML-моделями собственной разработки.

Как работает Inference-платформа

Мы стремились создать продукт, который избавит пользователя от необходимости выполнять сложные или рутинные операции. Например, поддерживать множество однотипных реализаций инференс-сервисов, переписывать их для повышения производительности и так далее.

Достаточно загрузить файл обученной ML-модели в объектное хранилище Selectel и указать адрес S3-бакета в манифесте создаваемого инференс-сервиса. Далее платформа все сделает сама: задеплоит модель в виде эндпоинта и отправит ссылку на него для использования в ваших сервисах.

Благодаря сценарию Canary Deployment можно обновить версию ML-модели без остановки сервиса. Кроме того, Inference-платформа работает на GPU-кластерах Managed Kubernetes Selectel и поддерживает автоскейлинг: самостоятельно добавляет вычислительные ресурсы при необходимости. Это полезно, если нагрузка на вашу модель переменная — например, пользователей становится кратно больше в «черную пятницу». 

Как подключить

Чтобы развернуть Inference-платформу, оставьте заявку на бесплатный двухнедельный тест. Мы поможем с настройкой платформы, обеспечим инфраструктуру и техподдержку.