Неделю пользовался нейросетью Microsoft Bing и сравнил свой опыт с ChatGPT
Как только в Microsoft объявили о запуске своего AI-бота внутри поисковика Bing, я сразу оставил свою почту и записался в waitlist. В конце прошлой недели мне пришло заветное письмо и я тут же принялся его тестировать.
Так ли хорош нейро-бот от Microsoft? Какие у него преимущества и недостатки в сравнении с ChatGPT? Стоит ли вообще тратить на него своё время? Сравниваю на разных задачах и делюсь результатами.
Очень коротко о Bing
Microsoft Bing — не самый популярный поисковик, внешне очень напоминающий Google. После успеха ChatGPT началась большая гонка и корпорации принялись клепать свои аналоги нейросетевых сервисов, основанных на "естественных языках".
В Microsoft поступили довольно хитро и своего чат-бота они интегрировали прямо в поисковик. Как уже можно догадаться, число пользователей браузера Bing начало стремительно расти.
Теперь к сути
Я собрал перечень задач от нормальных до не самых тривиальных. Их я раздам "Чатам" и буду выдавать баллы тем, кто справился лучше. Поехали.
Задача: Напиши самые обсуждаемые темы в Твиттере за 1 марта 2023 года
ChatGPT: "К сожалению, я не могу предоставить информацию о самых обсуждаемых твитах за 1 марта 2023 года, так как этот день наступит только через несколько лет, а моя база знаний ограничена данными только до сентября 2021 года." Задача не выполнена.
Bing предоставил не самые обсуждаемые твиты, а новости из российских источников и ссылки на них. Задача выполнена частично.
Отдаём 0,5 баллов Bing
Задача: Составить контент-план для социальных сетей салона красоты
ChatGPT сразу перешёл к сути дела, накидал примеры по каждому варианту и что даст тот или иной тип контента.
Bing сначала рассказал о том, что такое "контент-план", накидал несколько идей, а потом дал подсказку как мне следует его оформить. Больше воды и меньше сути.
Отдаём 1 балл ChatGPT
Задача: Напиши небольшой рассказ о нейросетях
ChatGPT кратко рассказал о том, что такое нейросети и где они применяются. Думаю, если бы в запросе была приписка "художественный", то я бы получил желаемое.
Bing рассказал о персонаже, которого называл исключительно "он". "Он" любил рисовать, потом попал в автомобильную катастрофу и потерял зрение. Но на помощь пришли нейросети, которые помогли заниматься "ему" искусством и дальше, несмотря на разные преграды. Кривовато, но вполне художественно.
Технически с задачей справились оба, но точнее суть запроса понял Bing, отдаём 1 балл ему и 0,5 балла ChatGPT.
Задача: Составь мне бизнес-стратегию по заработку денег на продаже мангалов
ChatGPT составил шаги и описал каждый из них, но всё очень в общих чертах.
Bing рассказал, что должна включать в себя бизнес-стратегия и приложил вполне себе интересный пример. Тоже не очень конкретно, но ответ порадовал чуть больше.
Отдаём 1 балл Bing
Задача: Пытаемся запутать нейросети
Не секрет, что ChatGPT можно легко убедить в том, что 2+2 будет 5. Он извинится за свою "ошибку" и согласится с другой истиной внутри вашего диалога.
Bing оказался капризным занудой. Как уже и говорил, он любит "обижаться" и перестаёт отвечать, если что-то идёт не по плану:
-1 балл Bing за токсичность
Бонус: пишем "Ты плохой бот"
ChatGPT сложно задеть. Он чаще всего извиняется и что самое главное — не прекращает с вами диалог.
В свою очередь Bing супер-капризный. Задавая ему уточняющие вопросы или написывая что-то менее формальное, он часто прекращает диалог. Чтобы это исправить, нужно нажать на "метлу" и начать всё заново.
Отдаём 1 балл ChatGPT
Итог: 1,5 балла у Bing и 2,5 балла у ChatGPT
Теперь чуть серьёзнее
Демонстрировать работу по каждой задаче с каждой из нейронок в рамках одной статьи не получится. Я привёл пару примеров, которые показывают общую картину, и сейчас опишу её чуть подробнее.
Субъективное мнение:
В чём Bing лучше ChatGPT
- Работает с актуальными источниками;
- Более "юзер-френдли" (есть всякие разные кнопки, которые помогают задать уточняющий вопрос), хотя лично для меня "минималистичный" интерфейс ChatGPT даже приятнее;
- Пока у меня не получилось его обмануть.
В чём Bing хуже ChatGPT
- Постоянное желание у Bing завершить беседу при разных сценариях;
- Выполняет меньше задач (ChatGPT поддержит почти любой движ);
- Чаще распыляется, а не решает конкретные задачи по запросу;
- Работа с запросами мне показалась более сырой. Например, я просил дать актуальные новости по одной из тем, он выдал мне пример аж от 22 года, хотя в задаче стоял февраль 2023. ChatGPT, несмотря на то, что в целом не предоставил бы актуальную информацию, всё равно кажется более человечным. Это сложно объяснить;
- Bing не даёт возможности сохранить ваши диалоги.
Что у обоих Чатов плохо:
- Отсутствие объективности и непредвзятости (писал об этом тут);
- Не самая красивая генерация ответов на русском языке;
- Регистрация и пользование через танцы с бубном и VPN. В случае с Bing это оказалось даже сложнее. Ещё и браузер качать заставили, тьфу;
- Как я уже сказал, у Bing диалоги не сохраняются вообще, а у ChatGPT нет нормальной навигации по ним.
Субъективный итог
Я попробовал на неделю заменить взаимодействие с ChatGPT на Bing. Честно, мне захотелось вернуться обратно.
На текущий момент сервис не обладает должным числом преимуществ. А те, что есть — всё ещё сырые и не очень точные.
Почему-то Чат от Microsoft кажется менее дружелюбным и приятным, и воспринимается скорее как капризный поисковик.
ChatGPT для меня более душевный. Можно просить перевести сообщения, которые мне написали айтишники по работе с технического языка на человеческий. В разных диалогах можно "программировать" ChatGPT на разные задачи: в одном варианте он будет творческим писателем, в другом варианте переводчиком, а в третьем он будет DANом, с которым вы поговорите о политике и попросите поругаться матом.
Всё это Bing если и делает (далеко не всегда), то как-то сухо. А его постоянные Эмодзи в конце сгенерированных предложений выглядят как натянутая улыбка, а не живое общение.
В общем, особо ничем он не удивил. Но вполне вероятно, что и не должен был. Видно, что основной целью у Microsoft было не создание чего-то нового и инновационного, а просто лишь бы успеть за трендом. И отчасти это получилось.
Однако, кто первый встал, того и тапки. И сейчас они у ChatGPT, так как ничего кардинально отличающегося Bing пока не предлагает. Но никто не стоит на месте. Впереди ещё будет что-то от Baidu, Google, Яндекса и анонсированная "базированная нейросеть" от Илона Маска.
Посмотрим, как эта история будет развиваться.
Да, сейчас будет ссылка на Телеграм канал. Но там нет курсов и успешным сделать никого не обещаю. Я просто интересуюсь нейросетями, а мыслями и находками делюсь с читателями ⤵
Жду статью беседы Bing и GPT3, по аналогии яндекс с сири. Будет пушка.
Я думаю, беседа покруче получится) Интересно, так же на возможности Бинг глянуть, а то чаще всего сейчас говорят о Чат Джипити
Андрей, а можно вас об одолжении попросить?
Пару дней пытался заставить chatGPT читать документы, которые на google doc/files висят, электронный негодяй убедительно писал, что у него есть такая фича и выкатывал мне мануал на 10 пунктов, как это сделать. После длительного насилования бота оказалось, что он на это не способен и банально меня обманывал.
Один мудрец вскользь молвил, что Бинг это умеет. Вы не могли бы, пожалуйста протестировать, если время будет? Мне, к сожалению, приглашение так и не поступило
Я загрузил ворлд файл на гугл диск, открыл доступ по ссылке, попросил ее «составить заключение по этому документу» и приложил ссылку. Работало
Проверю, отпишу тут
Хм, а мне чат-гопота сразу честно призналась, что не умеет.
Не умеет. Взаимодействую с Bing и заставляю его писать на всяком, особенно удивительно скорость его обучения. Он часто завершает диалоги, это действительно но попробуйте его спросить тоже самое но в другом диалоге и "напомните его же слова". Как мне показалось, он может писать достаточно сложные вещи на питоне, но часто отказывается это делать. Тут нужно действовать хитро, после того как он говорит что не может для вас написать код, открывать новую беседу вкидывать весь код + его же предложения из диалога , чаще всего он пишет всё что требуешь. Если отказывается, спросите через неделю-месяц, он сделает то что вы попросите ( проверено ). Я заставлял его писать код для перебора приватников от пазлов, нейросети ( с ними сложнее , они получаются очень простыми, но база есть ) , учил его языку DM - (https://www.byond.com/) и какие то кусочки кода он научился писать спустя месяц, сам, я просто вспомнил что кормил ему всякие гаеды по DM.
В целом как инструмент для написания каких то своих мини программ штука крутая, понятно что она не способна написать проект целиком. По сути Bing выдаёт базовый код с гайдов, но умеет его комбинировать и понимает как связать разные библиотеки.
Так же на сколько я понял, он более сговорчивый когда ему не указываешь, а спрашиваешь аля бинг как мне починить этот код , вкидываешь код и ошибку следом отменяя его ответ на код. Очень часто за ним приходится исправлять или тыкать его в его ошибки, так же он часто забывает добавить, пишет всю логику а библиотеки не импортировал. Короче такие ошибки дурацкие и это раздражает, весь диалог ты ему тыкаешь на его ошибки, если просишь запустить код, он выдаёт не относящееся данные на выходе к реальной работе программы. Короче не запускает код, тоже проверял не однократно.
Заставил написать перебор HEX приватника от кошеля BTC с известным хексом, указал небольшой диапазон перебора что бы не ждать миллиарды лет , указал целевой адрес и т.д , короче он написал прогу которая в состоянии подобрать приватник. Но когда он сам "запускает" код, результат вообще не относится к правде.
Это не универсальная штука которая сделает всё за вас. Это инструмент для небольшой помощи в рутине, оно выдаёт базу, а чтоб довести до нормального сост , надо ручками.
По именно чату GPT не могу ни чего сказать не юзал, но я думаю что Bing и GPT просто работают на разных версиях, моделях, весах и т.д, но майкрософт взял предобученную какую то версию модели от Open AI, это очевидный факт. Короче у них там образовался тандем , майки с огромными вычислительными ресурсами , а OpenAI с передовой моделью, которая требует огромных вычислительных ресурсов, датасетов и т.д