Все началось с того, что мне надоело пользоваться ChatGPT, подключаясь к прокси, покупая «левые» номера, а при возможности пользоваться полным функционалом необходимо использовать виртуальные карты Visa, которые последнее время дают сбой.

Хотелось простоты и скорости в режиме онлайн. В голову пришел Телеграм с большим количеством возможностей интеграций при том, что живу я в России.

Хотелось, чтобы бот мог не просто работать с текстом, но и со звуком, изображениями прямо в телеграме. Требовался не просто функционал, который есть в каждом телеграм боте с ChatGPT, а именно то, что решает разные задачи того же сотрудника в офисе.

Лично меня бесят долгие и бесполезные совещания, ситуации, когда я трачу на составление толерантного ответа на тупое письмо кучу времени.

Тут я уже рассказал, как я решаю рабочие задачи с помощью нейросетей. Обязательно к прочтению.

Оптимизируем работу с помощью Нейросетей с Примерами: ChatGPT, Miro, Google Sheets, DALL-E и Stable Diffusion

Что получилось:

Простыми словами, запрос теперь можно писать как руками, так и записывать голосом, если руки заняты.

Вот что он может:

ChatGPT бот в телеграм, работа с текстом моделью GPT-4 Turbo

В первом случае он пишет пост в соцсеть, во втором — ответ токсичному коллеге на письмо, а в третьем — JavaScript код.

На мой взгляд, справился он на отлично. Текст можно также наговорить голосом. В примере я писал его вручную. Также можно озвучить текст голосом одним из 6 персонажей на любом языке (Text-to-Speech) .

Не так давно (в октября 2023 года) OpenAI разрешили работать с картинками через компьютерное зрение (Vision, Image-to-Text). Ну и модель для генерации картинок Dall-e 3 обновилась до 3-ей версии (Text-to-Image), что улучшило качество изображений во много раз. В боте это есть тоже.

GPT-4 Vision и генерация картинок Dall-e 3

Как пример, под рукой была визитка. Я просто ее отправил в ChatGPT и он распознал текст. Дальше ради интереса попросил структурировать данные в формате JSON. С этим заданием он тоже справился.

Теперь к вопросу генерации картинок. В бот «подкручена» та самая последняя модель Dall-e 3. Картинки получаются в формате 1024x1024. К качеству вопросов нет.

Если совсем просто, то в бот отправляем звуковую дорожку, например, звонок сотрудника отдела продаж, клиентского сервиса, совещания с коллегами, а модель переведет все в текст (Speech-to-Text). Дальше можно попросить ChatGPT сделать «саммари», дать оценку продавцу, предложить улучшение. Это прям значительная экономия времени, по моему опыту.

Транскрибация звука моделью Whisper и плагины

Также в боте можно добавить разные плагины. Тут я делал прогноз погоды, курсы криптовалют, возможность выгрузить контент из соцсетей и пр.

В дальнейшем хочется сделать возможность работать с PDF файлами, адекватно выходить в интернет и собирать там данные, делать вывод в разных форматах.

Я буду признателен, если ты — мой дорогой читатель озвучишь свою проблему в комментариях, а я постараюсь ее решить, доработав бот. Спасибо за просмотр. Подписывайся на меня. Это бесплатно без СМС и регистраций.