Как собирать данные с 250 000 авто: кейс Лаборатории Умного Вождения
В кейсе рассказываем, как компания развернула экосистему сервисов для управления автомобилями на инфраструктуре Selectel: от автозапуска до спутниковых систем охраны и нейросетей для анализа вождения и реконструкции событий.
Задачи:
- Быстро передавать большие объемы данных
- Развернуть отказоустойчивую инфраструктуру
- Обеспечить высокую скорость вычислений
Продукты и услуги Selectel:
О компании
Лаборатория Умного Вождения с 2015 года разрабатывает системы для управления и защиты автомобилей. Компания производит собственное оборудование, в том числе блоки «ЭРА-ГЛОНАСС», а также создает коммерческие сервисы на его основе. Клиентами Лаборатории Умного Вождения являются автопроизводители (АВТОВАЗ, Chery), дилеры, страховые и лизинговые компании, компании с крупными автопарками, а также физические лица.
Оборудование Лаборатории, установленное в автомобиль, в том числе подключенное к CAN-шинам, передает информацию по двухстороннему каналу связи. Телематическая платформа собственной разработки обрабатывает данные о местоположении транспортного средства, его скорости, курсе, текущем состоянии узлов и датчиков автомобиля и самого телематического блока.
Конечные пользователи, в свою очередь, видят текущее состояние своих транспортных средств, историю поездок, статистику резких маневров и аварий, могут удаленно управлять автомобилем: открывать и закрывать двери, запускать двигатель и т. д. Физические лица делают это через приложение для iOS и Android, а компании — через корпоративные порталы.
В клиентской базе Лаборатории Умного Вождения сейчас более 250 000 подключенных автомобилей. Они подключены к разным сервисам: от простого мониторинга до сложных комплектов спутниковых охранных систем. Последние позволяют не только оповестить клиента о попытке угона, но и сообщить об этом в полицию, вызвать ЧОП к местоположению автомобиля и удаленно заблокировать двигатель.
Вызовы и решения
- Организовать быструю передачу и обработку данных с телематического блока. Selectel развернул инсталляцию из выделенных серверов произвольной конфигурации для клиентского ПО виртуализации. Компании важно контролировать уровень выше гипервизора с целью избежания сетевых задержек при передачи данных между виртуальными машинами и дисковым пространством.
- Обеспечить отказоустойчивость инфраструктуры. Выделенные серверы объединили в четыре кластера и настроили сетевую связность между ними.
- Гарантировать высокую скорость вычислений. Для наиболее сложных вычислений Selectel предоставил выделенные серверы с GPU.
Почему выбрали Selectel
- Широкий выбор выделенных серверов, в том числе с GPU
- Возможность самостоятельно управлять инфраструктурой на уровне виртуализации и выше
- Возможность гибкого конфигурирования и масштабирования инфраструктуры
- Оперативная круглосуточная техподдержка
IT-инфраструктура Лаборатории Умного Вождении начиналась с установки нескольких стоек в одном из бизнес-центров Москвы, в которых компания размещала собственные серверы. Вскоре стало ясно, что выбранное помещение не может обеспечить устойчивое электропитание, а даунтайм для платформы критичен. Была попытка масштабировать инфраструктуру в облако зарубежного провайдера, но возникла сложность: техподдержку можно было выбрать либо качественную, но очень дорогую, либо приемлемую по цене, но не очень эффективную. В итоге в 2016 году Лаборатория Умного Вождения перенесла часть сервисов в Selectel, а в 2022 решила полностью уйти к российскому провайдеру.
«Мы поняли, что Selectel предлагает надежный сервис и оперативную техподдержку по отличной цене. Мы всегда в курсе, что происходит с серверами, можем быстро масштабировать ресурсы. Сейчас в Selectel находится наша телематическая платформа и продакшн, а наименее критичные сервисы пока остаются на нашей стороне. Тем не менее, мы постепенно идем к полному переходу на инфраструктуру провайдера».
Организовать быструю передачу и обработку данных с телематического блока
К сервисам Лаборатории Умного Вождения подключено более 250 000 автомобилей, и их количество постоянно растет. Каждый день с телематического оборудования компании собираются огромные объемы сырых данных: маршрут и время движения транспорта, расход топлива и пробег, ускорения и торможения и т. д.
Например, автопарк одного из клиентов Лаборатории насчитывает более 35 000 автомобилей, которые каждый день совершают более миллиона поездок. Информация по каждой поездке должна максимально оперативно отображаться у пользователя в обработанном виде.
Помимо этого, среди сервисов компании есть нейросеть, которая анализирует данные с акселерометра и реконструирует события. С помощью этого инструмента дилеры могут делать выводы о манере вождения клиента и, например, рекомендовать ему проводить ТО чаще, чем того требует регламент. Для страховых компаний данных с акселерометра достаточно, чтобы детально понять, что происходило с автомобилем в момент ДТП, где и когда оно произошло. Таким образом, нейросеть генерирует и без того огромные объемы данных, создавая дополнительную нагрузку на IT-инфраструктуру.
Решение
Максимальная скорость передачи данных возможна тогда, когда виртуальная машина связана с дисковым пространством физическим, а не сетевым каналом. То есть они должны всегда находиться на одном и том же сервере.
Чтобы при масштабировании или инциденте виртуальная машина и хранилище не оказались на разных хостах, их расположили на выделенных серверах. Selectel при этом берет на себя вопросы по «железу», а специалисты Лаборатории Умного Вождения управляют виртуализацией, контролируя отсутствие сетевых задержек.
Такой подход гарантирует, что клиент всегда знает, где физически находятся его сервисы, и может управлять их размещением. Если на каком-то сервере происходит значительный рост нагрузки, виртуальную машину можно перенести на другой хост и там же переподключить хранилище, не жертвуя скоростью соединения.
Выделенные серверы произвольной конфигурации в сочетании с сетевым оборудованием позволили подключить на портах технологию RDMA. Благодаря ей удалось исключить обмен данными между процессорами — запросы стали направляться напрямую к оперативной памяти, соответственно, скорость обработки увеличилась.
Обеспечить отказоустойчивость инфраструктуры
Нагрузка на сервисы Лаборатории Умного Вождения постоянно растет. Увеличивается количество как клиентов, так и обслуживаемых автомобилей. На это накладываются всплески активности водителей. Обычно они приходятся на утренние и вечерние часы, когда люди гораздо активнее пользуются транспортом.
Компания арендует выделенные серверы для обеспечения физической связности виртуальных машин и дисковых пространств. По этой причине автомасштабирование в периоды пиковых нагрузок, которое есть в облаке, недоступно. Тем не менее, падение сервиса, когда он особенно нужен, недопустимо.
Решение
Выделенные серверы организованы в четыре кластера, внутри каждого из которых настроена виртуализация. Кластеры необходимы для обеспечения отказоустойчивости — виртуализация настроена таким образом, что если на одном физическом сервере что-то выйдет из строя, виртуальная машина автоматически переедет на другой.
Гарантировать высокую скорость вычислений
Одна из опций, которую Лаборатория Умного Вождения предлагает клиентам, — удаленный запуск двигателя. Чтобы настроить это на некоторых автомобилях, необходимо выполнить ряд объемных вычислений. Телематическое оборудование для этого в принципе не подходит, а серверам только с CPU потребуются десятки минут. Разумеется, ни один установщик не захочет ждать так долго.
Решение
Сложные расчеты проводятся на выделенных серверах с GPU. Вычисления, которые на обычном компьютере занимают не менее получаса, на такой инфраструктуре выполняются за секунды.
Результаты
-
250 000 +
автомобилей обслуживаются сервисами Лаборатории Умного Вождения на инфраструктуре Selectel
-
4
кластера выделенных серверов развернуты для сервисов компании
-
200 +
ГБ данных обрабатывается сервисами компании каждый день
Аренда выделенных серверов
Сервер с запуском от двух минут и бесплатной заменой комплектующих.
Аренда выделенных серверов с GPU
Серверы с графическими картами для 3D‑моделирования, рендеринга, машинного обучения и сложной аналитики.
Сетевая инфраструктура в Selectel
Соедините проекты в единую инфраструктуру.
Планы развития
На российский авторынок приходят новые компании, которые присматриваются к телематическим сервисам. Причем раньше оборудование Лаборатории Умного Вождения в основном устанавливалось в автомобили в дилерских центрах. Сейчас оно отправляется напрямую производителям и монтируется на конвейере. В Лаборатории ожидают рост количества клиентов и повышение спроса на услуги. Следовательно, потребуется не только масштабирование инфраструктуры, но и подключение дополнительных услуг и продуктов IT-провайдера.
В перспективе компания рассматривает подключение объектного хранилища и внедрение Kubernetes. Это может стать частью дальнейшего масштабирования сервисов на инфраструктуре Selectel.
Хранилище необходимо для фотофиксации процесса установки оборудования в автомобиль. Это гарантирует прозрачность процесса для клиентов. При этом компания планирует ежемесячно сохранять десятки тысяч фотографий общим объемом более 500 ГБ.
Что касается Kubernetes, в будущем его могут использовать для развертывания системы телематики и некоторых дополнительных сервисов.
