Как запустить более 400 голосовых роботов в облаке: кейс RobotMIA
Рассказываем, как голосовые роботы компании RobotMIA одновременно отвечают на тысячи вопросов пользователей по телефону, не зависая и не отключаясь.
Задачи:
- Создать комфортные условия для пользователей при общении с голосовыми роботами
- Научить роботов предоставлять пользователям максимально релевантные ответы
Продукты и услуги Selectel:
О компании
Компания RobotMIA с 2017 года специализируется на технологиях машинного обучения, искусственного интеллекта и понимании естественного языка. Профиль компании — разработка голосовых роботов для call-центров. Продукты компании сегодня используются в ритейле, логистике, медицине и других сферах.
Изначально компания размещала свои сервисы на инфраструктуре зарубежного провайдера. По мере развития бизнеса ее аренда становилась все более дорогой. Кроме того, новые крупные клиенты стали требовать соблюдения 152-ФЗ и размещения серверов как можно ближе к своему местоположению. Изучив российский рынок провайдеров IT-инфраструктуры, компания RobotMIA сделала выбор в пользу Selectel.
Вызовы и решения
- Развернуть продуктивную среду для голосовых роботов на производительной инфраструктуре. Разместили RPA-платформу с роботами на производительных облачных серверах. Скорость ответа робота — 1-2 секунды.
- Настроить геораспределение запросов в зависимости от трафика. Облачная платформа компании размещена в нескольких регионах: Москве, Санкт-Петербурге, Новосибирске и Казахстане.
- Провести эксперименты с большими языковыми моделями. Подключили ML-платформу для экспериментов с большой языковой моделью.
Почему выбрали Selectel
- Репутация на рынке провайдеров IT-инфраструктуры
- Конкурентная цена
- Оперативная и качественная техподдержка
- Доверие Selectel со стороны крупных компаний
«При выборе провайдера мы обращали внимание на несколько критериев. Прежде всего, это качество и стоимость услуг, геораспределение инфраструктуры, опыт провайдера в работе с большими объемами данных на высокой скорости, легкая масштабируемость. Плюс мы ориентировались на то, какие компании уже есть на этой платформе. Так мы и выбрали Selectel. Плюс нам очень нравится работа техподдержки: можно написать практически любой запрос и специалисты нам окажут содействие в его решении. Даже в ситуациях, когда мы должны делать что-то сами, техподдержка все равно может подсказать, что и где делать.»
Развернуть продуктивную среду для голосовых роботов на производительной инфраструктуре
Голосовые роботы компании RobotMIA работают на основе нейросетей, обучаемых под задачи каждого клиента. Эти роботы «живут» внутри диалоговой платформы и действуют по скрипту. Во время звонка транскрибатор переводит голос абонента в текст, который анализируется нейросетью. Текст позволяет роботу принять решение, что делать дальше: ответить голосом, обратиться к API, отправить СМС и т. д.
Для клиентов в данном случае важно, чтобы робот отвечал быстро. Адекватное время ответа — 1-2 секунды. На него влияет, прежде всего, железо, на котором функционируют роботы. RPA-платформы не так требовательны к вычислительным ресурсам, как, например, большие языковые модели. Тем не менее, опыт экспериментов RobotMIA показывает, что недостаток мощностей может увеличить время ответа до неприемлемых 3-5 секунд. Это особенно важно в период пиковых нагрузок, когда у одного клиента может работать более 100 телефонных линий.
Решение
RPA-платформа компании RobotMIA развернута на облачных серверах Selectel. Одного ядра процессора, как правило, хватает, чтобы обслуживать до двух разговоров с роботом одновременно. Исходя из этого соотношения компания арендует необходимую ей инфраструктуру. Микросервисы успевают выполнить транскрибацию, геопоиск, синтез речи и другие задачи, а роботы отвечают быстро и не прекращают работу в моменты пиковых нагрузок.
Настроить геораспределение запросов
Еще один фактор, который влияет на комфорт конечного пользователя, хоть и в меньшей степени — его физическая удаленность от сервера. Большинство клиентов компании RobotMIA находятся в Москве и Санкт-Петербурге, то есть близко к большинству дата-центров Selectel. Но есть также клиенты из Сибири и с Дальнего Востока. Иногда сигналу требуется 50-60 дополнительно миллисекунд, чтобы добраться до этих пользователей из Москвы. В целом в случае с голосовыми роботами это не критично, но для минимального времени ответа лучше, когда клиент и сервер находятся рядом друг с другом.
В будущем компания планирует дополнительно использовать Direct Connect. Услуга поможет ускорить геораспределение трафика.
Решение
Сервисы компании распределили по инфраструктуре Selectel в разных дата-центрах. Чтобы настроить геораспределение в зависимости от трафика, задействовали ЦОДы в Москве, Санкт-Петербурге, а также партнерские площадки Новосибирске и Казахстане.
Провести эксперименты с большими языковыми моделями
Роботы выполняют заранее заданный скрипт. С одной стороны, это исключает риск ошибок и некорректных ответов. С другой, сдерживает робота, ведь он не может сделать свой ответ еще точнее и полезнее. Более совершенными в этом плане кажутся большие языковые модели (LLM, Large Language Model).
Проблема с ними в том, что большинство готовых решений большинство готовых решений, например ChatGPT, являются публичными и размещаются на стороне третьих лиц. Это не устраивает некоторых клиентов RobotMIA: им важно, чтобы большая языковая модель «жила» внутри закрытого контура. Кроме того, LLM гораздо более требовательны к инфраструктуре — им нужны производительные серверы с GPU как для обучения, так и для работы.
Решение
RobotMIA использует ML-платформу Selectel. В рамках эксперимента на ней развернули среду для обучения и тестирования LLM. Компания смогла без проблем интегрировать платформу в систему своих сервисов, провести дообучение языковой модели и запустить генерацию ответов. LLM пока используется преимущественно во внутренних процессах. К тому же, компания активно экспериментирует с выбором наиболее подходящей модели.
Эксплуатация ML-платформы позволила сделать два вывода. Во-первых, нет технических ограничений для того, чтобы большая языковая модель работала в закрытом контуре, не выходя в интернет. Во-вторых, сама платформа легко интегрируется с другими сервисами и продуктами, поэтому можно развивать бизнес с помощью больших языковых моделей.
Найти способ оптимального хранения большого объема данных
Сервисы RobotMIA каждый день генерируют огромное количество данных. Прежде всего, это несколько миллионов записей звонков в сутки. Компании было важно иметь быстрый и удобный доступ к этим данным, а также настроить их автоматическое удаление.
Для удобства работы требовались также понятный простой API, быстродействие и стабильность хранилища, низкая стоимость услуги и полная отчетность.
Решение
Наиболее подходящим вариантом оказалось объектное хранилище. С одной стороны, оно позволяет хранить практически неограниченные объемы данных. С другой, гибкие настройки дают возможность экономить ресурсы. Например, задать период времени, по прошествии которого информация автоматически удаляется. Так сотрудникам компании не приходится заниматься этой работой вручную или писать какие-то специализированные скрипты.
Результаты
-
1-2
секунды — среднее время ответа голосового робота
-
400+
видов роботов с разными сценариями, голосами и поведением функционируют на платформе. Одновременно могут работать несколько тысяч роботов
-
4
региона ЦОД поддерживают инфраструктуру клиента
ML-платформа
Преднастроенная инфраструктура Selectel для обучения и развертывания ML-моделей
Облачные серверы
Виртуальные машины с оплатой по потреблению и готовностью меньше минуты
Облачные серверы с GPU
Используйте облачные серверы для решения задач, требующих серьезных вычислительных мощностей
Объектное хранилище
Храните данные для работы сервисов и их бэкапы, данные аналитики и датасеты для ML
