Рассмотрим, как довольно быстро и легко создать голосового ассистента, который будет полезным помощником во время тяжелых трудовых будней.
Окей, возможно многие смотрели фильм про эксцентричного изобретателя Тони Старка, и видели, как работает его ИИ Джарвис. Многие хотели создать такого же, чтобы можно было также быстро, с помощью голоса, контролировать собственный компьютер. На данную тематику написано довольно много статей. Все они довольно сложны, в них используется много строк кода, библиотек, сложные алгоритмы.
Но...я попробую создать рабочий прототип голосового ассистента используя буквально 4-5 библиотек и не самый замысловатый скрипт, что позволит, на начальном уровне знания python создать полезного помощника для работы.
Нам понадобятся библиотеки:
- pyAudio
- speech_recognition
- Os
- PyAutogui
- time
Мы скачали библиотеки и импортировали их в код (import %libname%)
Теперь давайте определимся, какая самая распространенная манипуляция, которую мы проводим за компьютером. На мой взгляд, открытие приложений.
Честно говоря, когда рабочий стол сильно захламлен, довольно много времени уходит на то, чтобы отыскать нужный ярлык. Или же, когда не хочешь отрываться от задачи, которую выполняешь в данный момент, но тебе резко требуется другое приложение, которое нужно искать, прерывать задачу, выходить из потока, и вообще не удобно, и не хочется. Можно просто сказать компьютеру об этом, и он сам его откроет.
И так, в основном вся логика будет строится на библиотеке speech_recognition, которая и будет обрабатывать нашу речь. Библиотека Speech_recognition - это своего рода обертка для известных речевых api от гугла,wit’a, Бинга и других it компаний, она даже может работать оффлайн (подробнее про нее можно прочитать тут https://pypi.org/project/SpeechRecognition/)
Ну что же, приступим.
Импортируем библиотеки в код и создадим экземпляр класса recognizer
Было бы неплохо, если бы скрипт работал бесконечно. Что за голосовой ассистент, который нужно постоянно запускать (Используем конструкцию while True).
Собственно, что я здесь делаю.
1. Выбираю источник звука(микрофон)
2. Приветственная фраза
3. Очищаю звук от шумов
4. Захватываю звук с микрофона
Хорошо, половина дела сделана, осталось его распознать.
Не выходя из бесконечного цикла, пишем метод для распознавания речи, и отлавливаем исключения. На всякий, а то вдруг Джарвис не услышит.
Хорошо, сейчас под переменной ‘x’ у нас хранится строчка нашего приказа или просьбы.
И я привел строчку к нижнему регистру, ну так, в целях единообразия.
Так приказ есть, пол дела сделано. Осталось описать что этот приказ означает.
Система будет воспринимать нашу речь и путем сравнения понимать, что ей нужно делать.
В нашем случае какое именно приложение открыть, но не ограничивайтесь этим вы можете заставить его делать не только это.
Собственно, заведем небольшой словарик, в котором будут описаны необходимые нам приложения. Его можно вставить перед объявлением экземпляра класса:
И дальше нам остается сделать простой сравнительный алгоритм.
Если в строку, которая хранится в переменной x входит ключ, то выполни значение ключа:
Ну и отлавливаем исключения:
Так же, в принципе, можно разнообразить нашего голосового помощника некоторыми полезными функциями для более удобной работы, здесь нам поможет библиотека pyautogui.
Допустим переключение вкладки(alt + tab):
Или вызов диспетчера задач:
А и функция создания скриншота будет довольно полезной:
И, собственно, довольно идентичным способом вплетаем проверку на эти фразы в код.
Общий код выходит таким:
Таким образом, всего за пару десятков строк кода, у нас получился довольно полезный, но безмолвный (Пока 😊) голосовой помощник, который облегчит жизнь, и сделает работу за компьютером чуточку удобнее, его можно применять, как в собственных целях, так и при помощи людям, для которых коммуникации с пк затруднены.