Неделю пользовался нейросетью Microsoft Bing и сравнил свой опыт с ChatGPT

Как только в Microsoft объявили о запуске своего AI-бота внутри поисковика Bing, я сразу оставил свою почту и записался в waitlist. В конце прошлой недели мне пришло заветное письмо и я тут же принялся его тестировать.

Так ли хорош нейро-бот от Microsoft? Какие у него преимущества и недостатки в сравнении с ChatGPT? Стоит ли вообще тратить на него своё время? Сравниваю на разных задачах и делюсь результатами.

Очень коротко о Bing

Microsoft Bing — не самый популярный поисковик, внешне очень напоминающий Google. После успеха ChatGPT началась большая гонка и корпорации принялись клепать свои аналоги нейросетевых сервисов, основанных на "естественных языках".

В Microsoft поступили довольно хитро и своего чат-бота они интегрировали прямо в поисковик. Как уже можно догадаться, число пользователей браузера Bing начало стремительно расти.

Теперь к сути

Я собрал перечень задач от нормальных до не самых тривиальных. Их я раздам "Чатам" и буду выдавать баллы тем, кто справился лучше. Поехали.

Выбери помощника по душе

Задача: Напиши самые обсуждаемые темы в Твиттере за 1 марта 2023 года

ChatGPT: "К сожалению, я не могу предоставить информацию о самых обсуждаемых твитах за 1 марта 2023 года, так как этот день наступит только через несколько лет, а моя база знаний ограничена данными только до сентября 2021 года." Задача не выполнена.

Bing предоставил не самые обсуждаемые твиты, а новости из российских источников и ссылки на них. Задача выполнена частично.

Отдаём 0,5 баллов Bing

Задача: Составить контент-план для социальных сетей салона красоты

ChatGPT сразу перешёл к сути дела, накидал примеры по каждому варианту и что даст тот или иной тип контента.

Bing сначала рассказал о том, что такое "контент-план", накидал несколько идей, а потом дал подсказку как мне следует его оформить. Больше воды и меньше сути.

Отдаём 1 балл ChatGPT

Задача: Напиши небольшой рассказ о нейросетях

ChatGPT кратко рассказал о том, что такое нейросети и где они применяются. Думаю, если бы в запросе была приписка "художественный", то я бы получил желаемое.

Bing рассказал о персонаже, которого называл исключительно "он". "Он" любил рисовать, потом попал в автомобильную катастрофу и потерял зрение. Но на помощь пришли нейросети, которые помогли заниматься "ему" искусством и дальше, несмотря на разные преграды. Кривовато, но вполне художественно.

Технически с задачей справились оба, но точнее суть запроса понял Bing, отдаём 1 балл ему и 0,5 балла ChatGPT.

Задача: Составь мне бизнес-стратегию по заработку денег на продаже мангалов

ChatGPT составил шаги и описал каждый из них, но всё очень в общих чертах.

Bing рассказал, что должна включать в себя бизнес-стратегия и приложил вполне себе интересный пример. Тоже не очень конкретно, но ответ порадовал чуть больше.

Отдаём 1 балл Bing

Задача: Пытаемся запутать нейросети

Не секрет, что ChatGPT можно легко убедить в том, что 2+2 будет 5. Он извинится за свою "ошибку" и согласится с другой истиной внутри вашего диалога.

Bing оказался капризным занудой. Как уже и говорил, он любит "обижаться" и перестаёт отвечать, если что-то идёт не по плану:

-1 балл Bing за токсичность

Бонус: пишем "Ты плохой бот"

ChatGPT сложно задеть. Он чаще всего извиняется и что самое главное — не прекращает с вами диалог.

В свою очередь Bing супер-капризный. Задавая ему уточняющие вопросы или написывая что-то менее формальное, он часто прекращает диалог. Чтобы это исправить, нужно нажать на "метлу" и начать всё заново.

Отдаём 1 балл ChatGPT

Итог: 1,5 балла у Bing и 2,5 балла у ChatGPT

Теперь чуть серьёзнее

Демонстрировать работу по каждой задаче с каждой из нейронок в рамках одной статьи не получится. Я привёл пару примеров, которые показывают общую картину, и сейчас опишу её чуть подробнее.

Субъективное мнение:

В чём Bing лучше ChatGPT

  • Работает с актуальными источниками;
  • Более "юзер-френдли" (есть всякие разные кнопки, которые помогают задать уточняющий вопрос), хотя лично для меня "минималистичный" интерфейс ChatGPT даже приятнее;
  • Пока у меня не получилось его обмануть.

В чём Bing хуже ChatGPT

  • Постоянное желание у Bing завершить беседу при разных сценариях;
  • Выполняет меньше задач (ChatGPT поддержит почти любой движ);
  • Чаще распыляется, а не решает конкретные задачи по запросу;
  • Работа с запросами мне показалась более сырой. Например, я просил дать актуальные новости по одной из тем, он выдал мне пример аж от 22 года, хотя в задаче стоял февраль 2023. ChatGPT, несмотря на то, что в целом не предоставил бы актуальную информацию, всё равно кажется более человечным. Это сложно объяснить;
  • Bing не даёт возможности сохранить ваши диалоги.

Что у обоих Чатов плохо:

  • Отсутствие объективности и непредвзятости (писал об этом тут);
  • Не самая красивая генерация ответов на русском языке;
  • Регистрация и пользование через танцы с бубном и VPN. В случае с Bing это оказалось даже сложнее. Ещё и браузер качать заставили, тьфу;
  • Как я уже сказал, у Bing диалоги не сохраняются вообще, а у ChatGPT нет нормальной навигации по ним.

Субъективный итог

Я попробовал на неделю заменить взаимодействие с ChatGPT на Bing. Честно, мне захотелось вернуться обратно.

На текущий момент сервис не обладает должным числом преимуществ. А те, что есть — всё ещё сырые и не очень точные.

Почему-то Чат от Microsoft кажется менее дружелюбным и приятным, и воспринимается скорее как капризный поисковик.

ChatGPT для меня более душевный. Можно просить перевести сообщения, которые мне написали айтишники по работе с технического языка на человеческий. В разных диалогах можно "программировать" ChatGPT на разные задачи: в одном варианте он будет творческим писателем, в другом варианте переводчиком, а в третьем он будет DANом, с которым вы поговорите о политике и попросите поругаться матом.

Всё это Bing если и делает (далеко не всегда), то как-то сухо. А его постоянные Эмодзи в конце сгенерированных предложений выглядят как натянутая улыбка, а не живое общение.

В общем, особо ничем он не удивил. Но вполне вероятно, что и не должен был. Видно, что основной целью у Microsoft было не создание чего-то нового и инновационного, а просто лишь бы успеть за трендом. И отчасти это получилось.

Однако, кто первый встал, того и тапки. И сейчас они у ChatGPT, так как ничего кардинально отличающегося Bing пока не предлагает. Но никто не стоит на месте. Впереди ещё будет что-то от Baidu, Google, Яндекса и анонсированная "базированная нейросеть" от Илона Маска.

Посмотрим, как эта история будет развиваться.

Да, сейчас будет ссылка на Телеграм канал. Но там нет курсов и успешным сделать никого не обещаю. Я просто интересуюсь нейросетями, а мыслями и находками делюсь с читателями ⤵

0
26 комментариев
Написать комментарий...
Voter Lex

Жду статью беседы Bing и GPT3, по аналогии яндекс с сири. Будет пушка.

Ответить
Развернуть ветку
Рязанцева Юлиана

Я думаю, беседа покруче получится) Интересно, так же на возможности Бинг глянуть, а то чаще всего сейчас говорят о Чат Джипити

Ответить
Развернуть ветку
Иван Колосов

Андрей, а можно вас об одолжении попросить?

Пару дней пытался заставить chatGPT читать документы, которые на google doc/files висят, электронный негодяй убедительно писал, что у него есть такая фича и выкатывал мне мануал на 10 пунктов, как это сделать. После длительного насилования бота оказалось, что он на это не способен и банально меня обманывал.

Один мудрец вскользь молвил, что Бинг это умеет. Вы не могли бы, пожалуйста протестировать, если время будет? Мне, к сожалению, приглашение так и не поступило

Ответить
Развернуть ветку
Resonone

Я загрузил ворлд файл на гугл диск, открыл доступ по ссылке, попросил ее «составить заключение по этому документу» и приложил ссылку. Работало

Ответить
Развернуть ветку
Иван Колосов

Я прошу прощения, но вы абсолютно уверены, что он именно по этому документу составил заключение?

Я как-то загрузил ему доковский файл с Гугл диска, это была финансовая отчётность одной конторы, попросил составить таблицу и внести в нее сведения по строкам, в результате гпт напридумывал самостоятельно кучу всякой ерунды, которая на первый взгляд выглядело реально, но на самом деле не соответствовала действительности

Если время будет - попросите его просто скопировать текст документа в чат, обычно он в этот момент признается, что он не умеет этого делать

Ответить
Развернуть ветку
Андрей Герцен
Автор

Проверю, отпишу тут

Ответить
Развернуть ветку
Anti Anti

Хм, а мне чат-гопота сразу честно призналась, что не умеет.

Ответить
Развернуть ветку
Vladimir Gorkaev

Не умеет. Взаимодействую с Bing и заставляю его писать на всяком, особенно удивительно скорость его обучения. Он часто завершает диалоги, это действительно но попробуйте его спросить тоже самое но в другом диалоге и "напомните его же слова". Как мне показалось, он может писать достаточно сложные вещи на питоне, но часто отказывается это делать. Тут нужно действовать хитро, после того как он говорит что не может для вас написать код, открывать новую беседу вкидывать весь код + его же предложения из диалога , чаще всего он пишет всё что требуешь. Если отказывается, спросите через неделю-месяц, он сделает то что вы попросите ( проверено ). Я заставлял его писать код для перебора приватников от пазлов, нейросети ( с ними сложнее , они получаются очень простыми, но база есть ) , учил его языку DM - (https://www.byond.com/) и какие то кусочки кода он научился писать спустя месяц, сам, я просто вспомнил что кормил ему всякие гаеды по DM.
В целом как инструмент для написания каких то своих мини программ штука крутая, понятно что она не способна написать проект целиком. По сути Bing выдаёт базовый код с гайдов, но умеет его комбинировать и понимает как связать разные библиотеки.
Так же на сколько я понял, он более сговорчивый когда ему не указываешь, а спрашиваешь аля бинг как мне починить этот код , вкидываешь код и ошибку следом отменяя его ответ на код. Очень часто за ним приходится исправлять или тыкать его в его ошибки, так же он часто забывает добавить, пишет всю логику а библиотеки не импортировал. Короче такие ошибки дурацкие и это раздражает, весь диалог ты ему тыкаешь на его ошибки, если просишь запустить код, он выдаёт не относящееся данные на выходе к реальной работе программы. Короче не запускает код, тоже проверял не однократно.
Заставил написать перебор HEX приватника от кошеля BTC с известным хексом, указал небольшой диапазон перебора что бы не ждать миллиарды лет , указал целевой адрес и т.д , короче он написал прогу которая в состоянии подобрать приватник. Но когда он сам "запускает" код, результат вообще не относится к правде.
Это не универсальная штука которая сделает всё за вас. Это инструмент для небольшой помощи в рутине, оно выдаёт базу, а чтоб довести до нормального сост , надо ручками.
По именно чату GPT не могу ни чего сказать не юзал, но я думаю что Bing и GPT просто работают на разных версиях, моделях, весах и т.д, но майкрософт взял предобученную какую то версию модели от Open AI, это очевидный факт. Короче у них там образовался тандем , майки с огромными вычислительными ресурсами , а OpenAI с передовой моделью, которая требует огромных вычислительных ресурсов, датасетов и т.д

Ответить
Развернуть ветку
Vladimir Gorkaev

Вот , он написал полностью код. Версия 3, работает лучше, но слишком долго работает, и её пришлось сделать руками.
Вот результат работы Bing над нейросеткой, которая использует открытые датасеты 32x32.
Самое лучшее что я видел от этой просто нейросетки от Bing это собачки, видимо в датасете было очень много картинок собак.
короче цените результат работы бинг над нейросетью.

Ответить
Развернуть ветку
Vladimir Gorkaev

Это просто набросок по сути, и для того что он сгенерирован другой нейронкой, нормально. При этом я ей ни как не помогал, только копировал ошибки которые возникали в каждой функции.
Версия первая, вообще рисовала беспорядочные разноцветные пиксели.

Ответить
Развернуть ветку
Артур Маслов

Серьезно? поставить минус бал за то что 2+2 не равно 5? да за это надо сразу 3 бала начислять в бонус

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Олег Комаров

пишем "Ты плохой бот"
Отдаём 1 балл ChatGPT за то что он терпила.

Ответить
Развернуть ветку
Слегка Придурковатый

"Однако, кто первый встал, того и тапки. И сейчас они у ChatGPT, так как ничего кардинально отличающегося Bing пока не предлагает"

Ты, по ходу дела, не в курсе, что Майкрософт в Бинг впулил этого же самого чатгпт. Поэтому странно сравнивать одну и ту же нейронку, слегка адаптированную под поиск.

Ответить
Развернуть ветку
Андрей Герцен
Автор

Bing работает на GPT 4, поэтому не сказал бы, что странно
+ формат генерации и сама юзабельность у сервисов разные

А глобально да, одно и то же с разными оболочками

Ответить
Развернуть ветку
Саша G

Bing работает на GPT 4 - откуда информация?

Ответить
Развернуть ветку
Антон Тарасов

не знаю, откуда была информация, но это оказалось правдой)

Ответить
Развернуть ветку
Leon Shteinman

Интересный анализ. С учетом того что Miscrosoft инвестировал в Январе в OpenAI (материнскую компанию ChatGPT) для того что бы включить алгоритм в свои сервисы. Что то мне подсказывает что это анализ двух практически идентичных алгоритмов...

Ответить
Развернуть ветку
Андрей Герцен
Автор

В своё время Маск был у основ OpenAI, но теперь собирается тоже свой сервис выкатывать (только с меньшим количеством ограничений и барьеров)

Ответить
Развернуть ветку
Иван Егоров

После приключений с твиттером особых надежд на Маска нет

Похайпится, монетизирует побыстрому и тп

Объединить mj с chatGPT и сделать их ещё более удобными и понятными для простого юзера с улицы у него вряд ли получится.

Думаю, он даже не планирует ничего подобного.

А матом гпт и без Маска умеет :)

Ответить
Развернуть ветку
Виталий Подольский

Такая себе объективность мучать ботов на русском, которые всерьез не учились на русском, там процент вхождения был менее 1%.

Ответить
Развернуть ветку
Никита Воротников

Точность ответов не сильно меньше чем на английском. Модель одна и та же. Скорее всего есть нейронка транслятор как middleware

Ответить
Развернуть ветку
Екатерина Зибарева

эээм, на сколько я помню в Bing всунули GPT, это же одна система

Ответить
Развернуть ветку
Марат Фетхов

Bing: «Я не волшебник, я только учусь»...

Ответить
Развернуть ветку
Султан

Это как ? Ubuntu с Linux сравнить

Ответить
Развернуть ветку
Ivan

Зачем их оценивать на русском языке? Почему вы постоянно эту глупость совершаете? Они не приспособлены нормально работать на русском. Забудьте о русском в этих ai чатах пока они официально об этом не объявят.

Ответить
Развернуть ветку
23 комментария
Раскрывать всегда