Инструкции (tutorials) по теме Разработка - Страница 4 из 8

Что будет уметь голосовой ассистент Мы научим ассистента: распознавать и синтезировать голос даже без доступа к интернету, приветствовать в зависимости от времени суток, искать страницы в Wikipedia, выполнять поиск в Google и Яндекс, открывать видео в YouTube и RuTube, переводить фразы с русского на английский и наоборот, открывать необходимые сайты, сообщать прогноз погоды в разных городах, подсказывать время, запускать приложения, воспроизводить музыку, отправлять email, проверять баланс в панели управления my.selectel, работать в мультиязычном формате. Эти функции — далеко не все, чему можно обучить ассистента. Даже с базовыми навыками программирования, а главное — большим желанием, можно создать такого помощника, который посоревнуется с Алисой или Siri. Подготовка среды Для написания данной статьи использованы ОС Windows 10, IDE PyCharm 2024.1 и следующие библиотеки. pyttsx3 — библиотека для синтеза речи (TTS) на различных платформах. Позволяет настроить голос, скорость речи и другие параметры. datetime — встроенный модуль для работы с датой и временем. speech_recognition — библиотека для распознавания речи. Поддерживает различные API для онлайн и офлайн-распознавания, такие как Google Web Speech API, Wit.ai, Microsoft Bing Voice Recognition и другие. vosk — библиотека для офлайн-распознавания речи. Использует модели, созданные с использованием Kaldi. wave — встроенный модуль для работы с аудиофайлами формата .wav. os — встроенный модуль для взаимодействия с операционной системой. json — встроенный модуль для работы с форматом данных JSON. wikipediaapi — библиотека для работы с API Википедии. webbrowser — встроенный модуль для открытия веб-страниц в браузере. traceback — встроенный модуль для форматирования и вывода информации об исключениях и ошибках. googletrans — библиотека для перевода текста с помощью API Google Translate. pyowm — библиотека для работы с API OpenWeatherMap, предоставляет доступ к текущим данным о погоде, прогнозам и историческим данным. subprocess — встроенный модуль для запуска новых процессов и взаимодействия с ними. random — встроенный модуль для генерации случайных чисел. pathlib — встроенный модуль для работы с путями файловой системы. smtplib — встроенный модуль для отправки электронной почты через SMTP. email.mime.multipart и email.mime.text — модули для создания и отправки сложных сообщений электронной почты, включая текст, HTML и вложения. requests — библиотека для отправки HTTP-запросов. Первый код и настройка ассистента Как создать голосового помощника на Python Для начала создадим голосового ассистента с помощью класса bot и его объекта. Назовем нашего бота Тирексом (Trex). Выбор голоса Перед обучением помощника различным способностям определимся с его голосом. Набор голосов зависит от операционной системы, на которой живет ассистент. Чтобы узнать, какие из них доступны в вашей ОС, необходимо добавить библиотеку pyttsx3 и выполнить следующий код. Он воспроизводит голоса и выводит в консоль их названия. В нашем случае доступно всего два голоса: Выберите любой понравившийся голос, доступный на вашей ОС, и запомните его ID. После этого цикл с прослушиванием можно удалить, а на его место вставить следующий код. Он наделяет ассистента постоянным голосом: Приветствие Теперь сделаем так, чтобы при запуске программы ассистент приветствовал нас в соответствии с текущим временем суток. Для этого воспользуемся библиотекой datetime, позволяющей работать со временем. Напишем функцию, с помощью которой ассистент будет приветствовать нас. Для вызова функции необходимо указать ее название. Обработка голоса Чтобы ассистент умел распознавать голос онлайн и офлайн, потребуются дополнительные библиотеки: speech_recognition, vosk, wave, os, json. Общая логика работы: Мы произносим в микрофон команду. Аудио сохраняется во временный файл. Запускается функция online-распознавания речи. При отсутствии доступа к интернету запускается функция offline-распознавания речи. Распознанная речь сохраняется в переменную в виде текста. Запись речи Сначала необходимо создать функцию для прослушивания микрофона нашего устройства и сохранения речи в аудиофайл. recorded_speech.wav сохраняется в папке текущего проекта. Онлайн-распознавание речи Для online-распознавания мы будем использовать библиотеку speech_recognition. С помощью функции WavFile считываем уже записанный аудиофайл и даем команду на его распознавание. При наличии подключения к интернету ассистент распознает речь и переводит ее в текст, сохраняя результат в переменную query. В противном случае запускается функция offline-распознавания. Офлайн-распознавание речи Если интернет отсутствует, ассистент будет работать с библиотекой Vosk. Для этого нужно загрузить из репозитория необходимую модель и поместить ее в поддиректорию проекта /models. Полный путь до этой директории будет примерно таким: C:/PyCharmProjects/voice_assistant/models. Мы используем модуль vosk-model-ru-0.42, его имя указывается в переменной vosk_model.Если модуль с таким названием не будет найден в директории /models, ассистент сообщит об этом и попросит загрузить его. В функциях выше мы использовали такие объекты, как recognizer и microphone. Не забудьте объявить их. А для запуска процесса записи и распознавания речи требуется вызвать функцию record(). Если вы не хотите, чтобы аудиозапись с вашим голосом хранилась на устройстве постоянно, добавьте в код следующую строку. Она удаляет аудиофайл после распознавания. Теперь ассистент умеет слушать и понимать нашу речь. Далее научим его выполнять наши просьбы. Функции голосового ассистента Подготовка логики Ассистент должен уметь выполнять не только один вид запроса. Для этого нужно проработать логику, которая позволяет вызывать функции в соответствии с нашим запросом. Один из вариантов — использовать блок if-else. А для обеспечения непрерывной работы ассистента мы поместим эту конструкцию в цикл while. Таким образом, помощник будет выполнять команды до тех пор, пока мы не завершим работу программы. Поиск по Википедии Для поиска по Википедии используется библиотека wikipediaapi. Это API Википедии, позволяющий искать статьи по определению. Также для взаимодействия с браузером потребуется библиотека webbrowser. А с обработкой ошибок нам поможет traceback. Логика работы: Поиск страницы по запросу. Открытие найденной страницы в браузере. Чтение первых двух предложений. Таким образом, цикл с вариантами запросов будет выглядеть так: Для вызова функции, выполняющей поиск по Википедии, в голосовом запросе должно прозвучать слово «Википедия» или «Википедии». Например, «Википедия кошка». Поиск в Google и Яндекс Теперь научим нашего ассистента гуглить и «яндексить». Дополнительных библиотек нам не потребуется, так как задача довольно простая. Запоминаем фразу. Удаляем лишнее из запроса. Открываем браузер и вставляем подготовленную ссылку. Google Яндекс Запросы такого типа можно производить в любой поисковой системе. Главное — знать правильный URI-адрес. Например: Google: https://google.com/search?q Яндекс: https://ya.ru/search?text Yahoo: https://search.yahoo.com/search?p Вызов функций поиска в Google и Яндекс выглядит так: Чтобы функции сработали, в голосовом запросе должно присутствовать любое из этих слов: гугл, google, яндекс или yandex. Например, можно сказать: «Яндекс ЦОД Selectel». Поиск по Youtube и Rutube Поиск по видеохостингам ничем не отличается от способа, представленного для поиска по Google и Яндекс, — необходимо знать лишь URI-адрес. Для этого перейдем на интересующий видеохостинг, выполним какой-либо поиск и скопируем URI-адрес от начала до места, где начинается запрос. YouTube: https://www.youtube.com/results?search_query RuTube: https://rutube.ru/search/?query YouTube RuTube Для поиска по YouTube и RuTube используйте голосовой запрос: youtube rutube Открыть любой сайт Находить информацию в Википедии, гуглить и искать видео ассистент уже умеет. Теперь давайте научим его открывать любой сайт. Но для этого, конечно, нужно знать его доменное имя. Например, чтобы открыть сайт selectel.ru, необходимо сказать: «Открой selectel.ru». При выполнении такой команды помощник уберет из запроса слово «открой», а перед selectel.ru добавит https://www. Для поиска сайта в интернете используйте запрос «открой ». Переводчик Еще одна полезная функция — переводчик. Наша реализация предусматривает перевод с русского языка на английский, и наоборот. При желании можно доработать ассистента и добавить дополнительные языки. Чтобы перевести фразу с английского языка на русский, необходимо сказать «переведи с английского ». Для перевода с русского языка на английский требуется произнести «переведи на английский ». Для перевода помощник использует Google-переводчик. Функция срабатывает по описанной выше логике: Прогноз погоды Чтобы получать данных о погоде, воспользуемся сервисом OpenWeatherMap. Для работы с OWM добавим в проект библиотеку pyowm. Предварительно необходимо получить API-ключ. Он пригодится ассистенту, чтобы связываться с OWM и получать актуальные данные о погоде. Перейдите на сайт OWM. Зарегистрируйтесь. Перейдите в раздел My API keys. Введите имя ключа (например, PythonAssistant) и нажмите Generate. У функции следующая логика: если в запросе встречается выражение «в городе», из запроса выбирается последнее слово — нужное нам названием города. если в запросе данное выражение не встретилось, берется город, установленный в классе bot. Далее выполняется запрос к сервису на получение данных о погоде в указанном городе и его последовательный вывод. Сама функция вызывается по слову «погода». Например, чтобы узнать погоду в Санкт-Петербурге, необходимо сказать: «Погода в городе Санкт-Петербурге». Узнать время Для реализации данной функции воспользуемся уже знакомой библиотекой datetime. С ее помощью обратимся к своему устройству и получим текущее время. Чтобы ассистент вызвал функцию, следует сказать слово «время». Запустить приложение Хотите, чтобы ассистент запускал за вас приложения? Он может и такое. Нужно лишь знать полный путь до исполняемого файла или то, какой командой запускается приложение из командной строки (CMD – command-line interface). Подойдет любой из этих методов. Добавьте в проект дополнительную библиотеку. Для примера мы взяли три приложения: Microsoft Edge — запуск .exe с указанием абсолютного пути; Калькулятор — запуск с использованием команды CMD start; Google Chrome — аналогично калькулятору. Чтобы открыть, например, Google Chrome, необходимо сказать: «Запусти браузер». Не забудьте добавить новое условие: Воспроизвести музыку Еще одна интересная функция — возможность воспроизведения музыки. Предварительно создайте директорию и поместите в нее любимые музыкальные композиции. В переменной music_dir_name как раз и задается путь до музыкального хранилища. Также понадобятся дополнительные библиотеки. В нашей конфигурации музыка начинает воспроизводиться в случайном порядке. Чтобы воспроизведение происходило с начала, следует заменить music на music. Вызов функции выглядит так: Отправка email Добавим еще одну фичу — пусть помощник отправляет электронные письма. Для примера мы будем использовать почту mail.ru. Стоит отметить, что mail.ru и другие сервисы запрещают сторонним приложениям отправку писем с почтовых адресов, используя стандартный пароль. Для создания «пароля внешних приложений» в mail.ru необходимо перейти в настройки своего аккаунта, а именно: Настройки → Все настройки → Безопасность → Пароля для внешних приложений. Для такой функциональности нам потребуются следующие библиотеки: Логика работы функции. Подключение к SMTP-серверу. Аутентификация с паролем внешних приложений. Выбор получателя письма. В нашей реализации выбор получателя происходит только из заранее определенного списка. Указание заголовка письма. Указание текста письма. Отправка. Для запуска функции отправки письма следует сказать «письмо». Получение информации о балансе Selectel Если у вас уже есть личный кабинет Selectel, вы можете узнать баланс аккаунта и многое другое, даже не заходя в него! Потребуется лишь API-ключ, создать который можно в разделе Профили и настройка → Ключи API. Мы будем использовать API: https://api.selectel.ru/v3/balances. Подробнее об API Selectel. В переменной apikeys_selectel хранится API-ключ, созданный в личном кабинете, он передается в headers. В случае успешного подключения ассистент сообщит нам баланс аккаунта: общий, если подключен Единый баланс. раздельный, если Единый баланс не подключен (основной, облачная платформа, хранилище и CDN, облако VMware). Для отправки запросов нам потребуется дополнительная библиотека. Узнать баланс аккаунта Selectel можно с помощью фразы «Баланс Selectel». Мультиязычность Мультиязычность — еще одна интересная функциональность ассистента. Мы покажем лишь одну из реализаций. Возможности для расширения этой функции у пользователя безграничны. Логика работы: при запуске программы устанавливается язык ассистента по умолчанию; при выполнении функции speak() сопоставляется установленный язык ассистента по умолчанию и фраза, которую помощник должен сказать; если в словаре есть фраза на нужном языке, ассистент озвучивает ее. В противном случае помощник сообщает об отсутствии перевода. Для реализации потребуются дополнительный класс и функция. Не забудьте создать объект класса. В класс самого ассистента добавьте новую переменную и ее инициализацию. Если хотите, чтобы голос ассистента менялся в соответствии с установленным языком, добавьте условие выбора голоса. Далее требуется создать в папке проекта json-файл, в котором будут описаны фразы на разных языках. Для примера возьмем фразу, которую ассистент говорит в случае ошибки при записи голоса. Теперь, чтобы автоматический перевод заработал, необходимо немного видоизменить вызов функции, добавив обращение к функции get нового класса. Таким образом, мы настроили мультиязычность, но только для одной фразы. По примеру вы можете настроить мультиязычность для всех фраз, которые может говорить ассистент. Кроме того, вы можете интегрировать дополнительные языки. Заключение Голосовые ассистенты продолжают набирать популярность благодаря своей способности упрощать взаимодействие с технологиями и выполнять задачи быстрее и удобнее. В этом проекте мы продемонстрировали базовые возможности создания помощника, способного распознавать голос, выполнять различные команды и интегрироваться с внешними сервисами. И хотя это лишь прототип, он уже демонстрирует потенциал для разработки более сложных и мощных решений. Для дальнейшего развития можно рассмотреть добавление новых опций. Например, подключить больше языков, расширить функциональность ассистента и улучшить интеграции с различными API и сервисами. Кроме того, голосового помощника можно разместить на облачном сервере Selectel, добавив в него поддержку устройств с различными ОС. Тем не менее, уже на этом этапе голосовой ассистент показывает, как современные технологии могут сделать нашу повседневную жизнь проще и удобнее.

Разработка

Зарегистрируйтесь в панели управления