Как запустить более 400 голосовых роботов в облаке: кейс RobotMIA

Рассказываем, как голосовые роботы компании RobotMIA одновременно отвечают на тысячи вопросов пользователей по телефону, не зависая и не отключаясь.

Кейс будет полезен для компаний в следующих сферах:

машинное обучение
RPA
голосовые роботы

Задачи:

Создать комфортные условия для пользователей при общении с голосовыми роботами
Научить роботов предоставлять пользователям максимально релевантные ответы

Продукты и услуги Selectel:

О компании

Компания RobotMIA с 2017 года специализируется на технологиях машинного обучения, искусственного интеллекта и понимании естественного языка. Профиль компании — разработка голосовых роботов для call-центров. Продукты компании сегодня используются в ритейле, логистике, медицине и других сферах.

Изначально компания размещала свои сервисы на инфраструктуре зарубежного провайдера. По мере развития бизнеса ее аренда становилась все более дорогой. Кроме того, новые крупные клиенты стали требовать соблюдения 152-ФЗ и размещения серверов как можно ближе к своему местоположению. Изучив российский рынок провайдеров IT-инфраструктуры, компания RobotMIA сделала выбор в пользу Selectel.

Вызовы и решения

Развернуть продуктивную среду для голосовых роботов на производительной инфраструктуре.
Разместили RPA-платформу с роботами на производительных облачных серверах. Скорость ответа робота — 1-2 секунды.
Настроить геораспределение запросов в зависимости от трафика.
Облачная платформа компании размещена в нескольких регионах: Москве, Санкт-Петербурге, Новосибирске и Казахстане.
Провести эксперименты с большими языковыми моделями.
Подключили ML-платформу для экспериментов с большой языковой моделью.

Почему выбрали Selectel

Репутация на рынке провайдеров IT-инфраструктуры
Конкурентная цена
Оперативная и качественная техподдержка
Доверие Selectel со стороны крупных компаний

«При выборе провайдера мы обращали внимание на несколько критериев. Прежде всего, это качество и стоимость услуг, геораспределение инфраструктуры, опыт провайдера в работе с большими объемами данных на высокой скорости, легкая масштабируемость. Плюс мы ориентировались на то, какие компании уже есть на этой платформе. Так мы и выбрали Selectel. Плюс нам очень нравится работа техподдержки: можно написать практически любой запрос и специалисты нам окажут содействие в его решении. Даже в ситуациях, когда мы должны делать что-то сами, техподдержка все равно может подсказать, что и где делать.»

Юрий Дружинин CIO в RobotMIA

Развернуть продуктивную среду для голосовых роботов на производительной инфраструктуре

Голосовые роботы компании RobotMIA работают на основе нейросетей, обучаемых под задачи каждого клиента. Эти роботы «живут» внутри диалоговой платформы и действуют по скрипту. Во время звонка транскрибатор переводит голос абонента в текст, который анализируется нейросетью. Текст позволяет роботу принять решение, что делать дальше: ответить голосом, обратиться к API, отправить СМС и т. д.

Для клиентов в данном случае важно, чтобы робот отвечал быстро. Адекватное время ответа — 1-2 секунды. На него влияет, прежде всего, железо, на котором функционируют роботы. RPA-платформы не так требовательны к вычислительным ресурсам, как, например, большие языковые модели. Тем не менее, опыт экспериментов RobotMIA показывает, что недостаток мощностей может увеличить время ответа до неприемлемых 3-5 секунд. Это особенно важно в период пиковых нагрузок, когда у одного клиента может работать более 100 телефонных линий.

Решение

RPA-платформа компании RobotMIA развернута на облачных серверах Selectel. Одного ядра процессора, как правило, хватает, чтобы обслуживать до двух разговоров с роботом одновременно. Исходя из этого соотношения компания арендует необходимую ей инфраструктуру. Микросервисы успевают выполнить транскрибацию, геопоиск, синтез речи и другие задачи, а роботы отвечают быстро и не прекращают работу в моменты пиковых нагрузок.

Настроить геораспределение запросов

Еще один фактор, который влияет на комфорт конечного пользователя, хоть и в меньшей степени — его физическая удаленность от сервера. Большинство клиентов компании RobotMIA находятся в Москве и Санкт-Петербурге, то есть близко к большинству дата-центров Selectel. Но есть также клиенты из Сибири и с Дальнего Востока. Иногда сигналу требуется 50-60 дополнительно миллисекунд, чтобы добраться до этих пользователей из Москвы. В целом в случае с голосовыми роботами это не критично, но для минимального времени ответа лучше, когда клиент и сервер находятся рядом друг с другом.

В будущем компания планирует дополнительно использовать Direct Connect. Услуга поможет ускорить геораспределение трафика.

Решение

Сервисы компании распределили по инфраструктуре Selectel в разных дата-центрах. Чтобы настроить геораспределение в зависимости от трафика, задействовали ЦОДы в Москве, Санкт-Петербурге, а также партнерские площадки Новосибирске и Казахстане.

Провести эксперименты с большими языковыми моделями

Роботы выполняют заранее заданный скрипт. С одной стороны, это исключает риск ошибок и некорректных ответов. С другой, сдерживает робота, ведь он не может сделать свой ответ еще точнее и полезнее. Более совершенными в этом плане кажутся большие языковые модели (LLM, Large Language Model).

Проблема с ними в том, что большинство готовых решений большинство готовых решений, например ChatGPT, являются публичными и размещаются на стороне третьих лиц. Это не устраивает некоторых клиентов RobotMIA: им важно, чтобы большая языковая модель «жила» внутри закрытого контура. Кроме того, LLM гораздо более требовательны к инфраструктуре — им нужны производительные серверы с GPU как для обучения, так и для работы.

Решение

RobotMIA использует ML-платформу Selectel. В рамках эксперимента на ней развернули среду для обучения и тестирования LLM. Компания смогла без проблем интегрировать платформу в систему своих сервисов, провести дообучение языковой модели и запустить генерацию ответов. LLM пока используется преимущественно во внутренних процессах. К тому же, компания активно экспериментирует с выбором наиболее подходящей модели.

Эксплуатация ML-платформы позволила сделать два вывода. Во-первых, нет технических ограничений для того, чтобы большая языковая модель работала в закрытом контуре, не выходя в интернет. Во-вторых, сама платформа легко интегрируется с другими сервисами и продуктами, поэтому можно развивать бизнес с помощью больших языковых моделей.

Найти способ оптимального хранения большого объема данных

Сервисы RobotMIA каждый день генерируют огромное количество данных. Прежде всего, это несколько миллионов записей звонков в сутки. Компании было важно иметь быстрый и удобный доступ к этим данным, а также настроить их автоматическое удаление.

Для удобства работы требовались также понятный простой API, быстродействие и стабильность хранилища, низкая стоимость услуги и полная отчетность.

Решение

Наиболее подходящим вариантом оказалось объектное хранилище. С одной стороны, оно позволяет хранить практически неограниченные объемы данных. С другой, гибкие настройки дают возможность экономить ресурсы. Например, задать период времени, по прошествии которого информация автоматически удаляется. Так сотрудникам компании не приходится заниматься этой работой вручную или писать какие-то специализированные скрипты.

Результаты

1-2

секунды — среднее время ответа голосового робота
400+

видов роботов с разными сценариями, голосами и поведением функционируют на платформе. Одновременно могут работать несколько тысяч роботов
4

региона ЦОД поддерживают инфраструктуру клиента