Инфраструктура для платформы с LLM и голосовыми помощниками: кейс neuro.net
Рассказываем, как компания организовала инфраструктуру для высоконагруженной коммуникационной платформы на базе голосового ИИ и LLM.
Задачи:
- Масштабировать AI-платформу под высокие нагрузки
- Организовать быструю сетевую связность
- Развернуть инференс LLM
Продукты и услуги Selectel:
О компании
neuro.net — один из глобальных лидеров в индустрии Voice AI, создающий коммуникационные технологии для бизнеса.
В продуктовый портфель компании входят виртуальные операторы, голосовые помощники и чат-боты на базе технологий распознавания и синтеза речи (Automatic Speech Recognition — ASR и Text To Speech — TTS) и больших языковых моделей (LLM).
Решения neuro.net автоматизируют бизнес-процессы в ритейле, финтехе, образовании, медицине и государственной деятельности.
Вызовы и решения
Масштабировать AI-платформу под высокие нагрузки
Платформа neuro.net обслуживает голосового ассистента, который в реальном времени выполняет множество задач в сферах продаж, клиентского опыта и HR. Среди них:
- техническая поддержка пользователей;
- звонки потенциальным клиентам;
- административные коммуникации, например, подтверждение записи на прием и др.
Система должна выдерживать тысячи одновременных запросов с End-to-End latency до 1200 мс в голосовом канале.
Развернули платформу на выделенных серверах с GPU
Сегодня платформа neuro.net развернута на выделенных серверах Selectel с видеокартами NVIDIA A100, RTX 5000 и 6000, а также T4. Также команда сервиса использует собственный сервер с восемью картами A100, который размещен в дата-центре Selectel.
В текущем виде IT-инфраструктура платформы поддерживает:
- до 5000 одновременных голосовых каналов;
- 600-800 запросов в секунду в пиковых сценариях;
- до 400 одновременных ASR-сессий.
Организовать быструю сетевую связность
Чтобы обеспечить повышенную отказоустойчивость, платформа neuro.net распределена между несколькими облачными провайдерами. При этом из-за большого количества межоблачных запросов росли время ожидания и скорость отправки запроса на сервер и обратно. Данные многократно передавались между провайдерами, что замедляло обработку запросов и увеличивало объем сетевого трафика.
Объединили несколько сервисов под одним API
Команда neuro.net развернула в инфраструктуре Selectel единый слой API, который объединил несколько сервисов. Вместо множества отдельных обращений между облаками система стала работать через единый адрес: основная логика и взаимодействие сервисов выполняются внутри инфраструктуры Selectel, а между провайдерами передается только минимально необходимый объем данных.
Для реализации этого решения API и компоненты оркестрации развернуты на облачных серверах Selectel, а все данные и артефакты сохраняются в S3. Это позволило сократить трафик между облачными платформами, снизить задержки и ускорить обработку запросов.
Развернуть инференс LLM без повышения расходов
Команде требовалась инфраструктура для запуска open-source LLM для голосовых и текстовых ассистентов. Основными требованиями были:
- высокая скорость инференса;
- низкая задержка ответа;
- возможность масштабирования;
- возможность контроля затрат на инфраструктуру.
Последний пункт особенно важен, поскольку использование топовых GPU вроде NVIDIA H100 и H200 существенно увеличило бы стоимость конечного сервиса для заказчиков. Необходимо было соблюсти баланс: использовать достаточно мощное железо, при этом по возможности сохранить стоимость услуг на прежнем уровне.
Распределили нагрузку между арендованными и собственными серверами
На выделенных серверах c GPU neuro.net развернули open-source LLM — Qwen3-32B, Qwen3.5-27B, а также экспериментальные Llama, Gemma и DeepSeek.
Широкий выбор комплектующих позволил команде сервиса подобрать конфигурации под разные типы нагрузки и оптимизировать стоимость инференса без перехода на более дорогие GPU.
Результаты
-
до 5000
одновременных голосовых каналов поддерживает платформа neuro.net
-
до 800 RPS
обрабатывается в пике
-
99,9%
уровень SLA
За время сотрудничества Selectel зарекомендовал себя как надежный партнер, который понимает потребности высоконагруженных проектов. Нам важно, что помимо инфраструктуры мы получаем экспертизу и возможность гибко подбирать решения под текущие задачи. Такой подход помогает нам быстрее запускать новые сервисы и масштабироваться по мере роста нагрузки.
