Платформа разворачивается на базе сервиса Managed Kubernetes от Selectel и основана на Open Source решениях для инференса:
- NVIDIA Triton™ Inference Server;
- Istio Ingress Controller.
Сервис в несколько команд подготовит ссылку на endpoint — достаточно загрузить файл обученной ML-модели в S3-бакет объектного хранилища Selectel и указать адрес бакета в манифесте запуска.