Бизнес-кейсы

О компании neuro.net — один из глобальных лидеров в индустрии Voice AI, создающий коммуникационные технологии для бизнеса. В продуктовый портфель компании входят виртуальные операторы, голосовые помощники и чат-боты на базе технологий распознавания и синтеза речи (Automatic Speech Recognition — ASR и Text To Speech — TTS) и больших языковых моделей (LLM). Решения neuro.net автоматизируют бизнес-процессы в ритейле, финтехе, образовании, медицине и государственной деятельности. Вызовы и решения Масштабировать AI-платформу под высокие нагрузки Платформа neuro.net обслуживает голосового ассистента, который в реальном времени выполняет множество задач в сферах продаж, клиентского опыта и HR. Среди них: техническая поддержка пользователей; звонки потенциальным клиентам; административные коммуникации, например, подтверждение записи на прием и др. Система должна выдерживать тысячи одновременных запросов с End-to-End latency до 1200 мс в голосовом канале. Развернули платформу на выделенных серверах с GPU Сегодня платформа neuro.net развернута на выделенных серверах Selectel с видеокартами NVIDIA A100, RTX 5000 и 6000, а также T4. Также команда сервиса использует собственный сервер с восемью картами A100, который размещен в дата-центре Selectel. В текущем виде IT-инфраструктура платформы поддерживает: до 5000 одновременных голосовых каналов; 600-800 запросов в секунду в пиковых сценариях; до 400 одновременных ASR-сессий. Организовать быструю сетевую связность Чтобы обеспечить повышенную отказоустойчивость, платформа neuro.net распределена между несколькими облачными провайдерами. При этом из-за большого количества межоблачных запросов росли время ожидания и скорость отправки запроса на сервер и обратно. Данные многократно передавались между провайдерами, что замедляло обработку запросов и увеличивало объем сетевого трафика. Объединили несколько сервисов под одним API Команда neuro.net развернула в инфраструктуре Selectel единый слой API, который объединил несколько сервисов. Вместо множества отдельных обращений между облаками система стала работать через единый адрес: основная логика и взаимодействие сервисов выполняются внутри инфраструктуры Selectel, а между провайдерами передается только минимально необходимый объем данных. Для реализации этого решения API и компоненты оркестрации развернуты на облачных серверах Selectel, а все данные и артефакты сохраняются в S3. Это позволило сократить трафик между облачными платформами, снизить задержки и ускорить обработку запросов. Развернуть инференс LLM без повышения расходов Команде требовалась инфраструктура для запуска open-source LLM для голосовых и текстовых ассистентов. Основными требованиями были: высокая скорость инференса; низкая задержка ответа; возможность масштабирования; возможность контроля затрат на инфраструктуру. Последний пункт особенно важен, поскольку использование топовых GPU вроде NVIDIA H100 и H200 существенно увеличило бы стоимость конечного сервиса для заказчиков. Необходимо было соблюсти баланс: использовать достаточно мощное железо, при этом по возможности сохранить стоимость услуг на прежнем уровне. Распределили нагрузку между арендованными и собственными серверами На выделенных серверах c GPU neuro.net развернули open-source LLM — Qwen3-32B, Qwen3.5-27B, а также экспериментальные Llama, Gemma и DeepSeek. Широкий выбор комплектующих позволил команде сервиса подобрать конфигурации под разные типы нагрузки и оптимизировать стоимость инференса без перехода на более дорогие GPU. Результаты