Как только в Microsoft объявили о запуске своего AI-бота внутри поисковика Bing, я сразу оставил свою почту и записался в waitlist. В конце прошлой недели мне пришло заветное письмо и я тут же принялся его тестировать.
Так ли хорош нейро-бот от Microsoft? Какие у него преимущества и недостатки в сравнении с ChatGPT? Стоит ли вообще тратить на него своё время? Сравниваю на разных задачах и делюсь результатами.
Очень коротко о Bing
Microsoft Bing — не самый популярный поисковик, внешне очень напоминающий Google. После успеха ChatGPT началась большая гонка и корпорации принялись клепать свои аналоги нейросетевых сервисов, основанных на "естественных языках".
В Microsoft поступили довольно хитро и своего чат-бота они интегрировали прямо в поисковик. Как уже можно догадаться, число пользователей браузера Bing начало стремительно расти.
Теперь к сути
Я собрал перечень задач от нормальных до не самых тривиальных. Их я раздам "Чатам" и буду выдавать баллы тем, кто справился лучше. Поехали.
Задача: Напиши самые обсуждаемые темы в Твиттере за 1 марта 2023 года
ChatGPT: "К сожалению, я не могу предоставить информацию о самых обсуждаемых твитах за 1 марта 2023 года, так как этот день наступит только через несколько лет, а моя база знаний ограничена данными только до сентября 2021 года." Задача не выполнена.
Bing предоставил не самые обсуждаемые твиты, а новости из российских источников и ссылки на них. Задача выполнена частично.
Отдаём 0,5 баллов Bing
Задача: Составить контент-план для социальных сетей салона красоты
ChatGPT сразу перешёл к сути дела, накидал примеры по каждому варианту и что даст тот или иной тип контента.
Bing сначала рассказал о том, что такое "контент-план", накидал несколько идей, а потом дал подсказку как мне следует его оформить. Больше воды и меньше сути.
Отдаём 1 балл ChatGPT
Задача: Напиши небольшой рассказ о нейросетях
ChatGPT кратко рассказал о том, что такое нейросети и где они применяются. Думаю, если бы в запросе была приписка "художественный", то я бы получил желаемое.
Bing рассказал о персонаже, которого называл исключительно "он". "Он" любил рисовать, потом попал в автомобильную катастрофу и потерял зрение. Но на помощь пришли нейросети, которые помогли заниматься "ему" искусством и дальше, несмотря на разные преграды. Кривовато, но вполне художественно.
Технически с задачей справились оба, но точнее суть запроса понял Bing, отдаём 1 балл ему и 0,5 балла ChatGPT.
Задача: Составь мне бизнес-стратегию по заработку денег на продаже мангалов
ChatGPT составил шаги и описал каждый из них, но всё очень в общих чертах.
Bing рассказал, что должна включать в себя бизнес-стратегия и приложил вполне себе интересный пример. Тоже не очень конкретно, но ответ порадовал чуть больше.
Отдаём 1 балл Bing
Задача: Пытаемся запутать нейросети
Не секрет, что ChatGPT можно легко убедить в том, что 2+2 будет 5. Он извинится за свою "ошибку" и согласится с другой истиной внутри вашего диалога.
Bing оказался капризным занудой. Как уже и говорил, он любит "обижаться" и перестаёт отвечать, если что-то идёт не по плану:
-1 балл Bing за токсичность
Бонус: пишем "Ты плохой бот"
ChatGPT сложно задеть. Он чаще всего извиняется и что самое главное — не прекращает с вами диалог.
В свою очередь Bing супер-капризный. Задавая ему уточняющие вопросы или написывая что-то менее формальное, он часто прекращает диалог. Чтобы это исправить, нужно нажать на "метлу" и начать всё заново.
Отдаём 1 балл ChatGPT
Итог: 1,5 балла у Bing и 2,5 балла у ChatGPT
Теперь чуть серьёзнее
Демонстрировать работу по каждой задаче с каждой из нейронок в рамках одной статьи не получится. Я привёл пару примеров, которые показывают общую картину, и сейчас опишу её чуть подробнее.
Субъективное мнение:
В чём Bing лучше ChatGPT
- Работает с актуальными источниками;
- Более "юзер-френдли" (есть всякие разные кнопки, которые помогают задать уточняющий вопрос), хотя лично для меня "минималистичный" интерфейс ChatGPT даже приятнее;
- Пока у меня не получилось его обмануть.
В чём Bing хуже ChatGPT
- Постоянное желание у Bing завершить беседу при разных сценариях;
- Выполняет меньше задач (ChatGPT поддержит почти любой движ);
- Чаще распыляется, а не решает конкретные задачи по запросу;
- Работа с запросами мне показалась более сырой. Например, я просил дать актуальные новости по одной из тем, он выдал мне пример аж от 22 года, хотя в задаче стоял февраль 2023. ChatGPT, несмотря на то, что в целом не предоставил бы актуальную информацию, всё равно кажется более человечным. Это сложно объяснить;
- Bing не даёт возможности сохранить ваши диалоги.
Что у обоих Чатов плохо:
- Отсутствие объективности и непредвзятости (писал об этом тут);
- Не самая красивая генерация ответов на русском языке;
- Регистрация и пользование через танцы с бубном и VPN. В случае с Bing это оказалось даже сложнее. Ещё и браузер качать заставили, тьфу;
- Как я уже сказал, у Bing диалоги не сохраняются вообще, а у ChatGPT нет нормальной навигации по ним.
Субъективный итог
Я попробовал на неделю заменить взаимодействие с ChatGPT на Bing. Честно, мне захотелось вернуться обратно.
На текущий момент сервис не обладает должным числом преимуществ. А те, что есть — всё ещё сырые и не очень точные.
Почему-то Чат от Microsoft кажется менее дружелюбным и приятным, и воспринимается скорее как капризный поисковик.
ChatGPT для меня более душевный. Можно просить перевести сообщения, которые мне написали айтишники по работе с технического языка на человеческий. В разных диалогах можно "программировать" ChatGPT на разные задачи: в одном варианте он будет творческим писателем, в другом варианте переводчиком, а в третьем он будет DANом, с которым вы поговорите о политике и попросите поругаться матом.
Всё это Bing если и делает (далеко не всегда), то как-то сухо. А его постоянные Эмодзи в конце сгенерированных предложений выглядят как натянутая улыбка, а не живое общение.
В общем, особо ничем он не удивил. Но вполне вероятно, что и не должен был. Видно, что основной целью у Microsoft было не создание чего-то нового и инновационного, а просто лишь бы успеть за трендом. И отчасти это получилось.
Однако, кто первый встал, того и тапки. И сейчас они у ChatGPT, так как ничего кардинально отличающегося Bing пока не предлагает. Но никто не стоит на месте. Впереди ещё будет что-то от Baidu, Google, Яндекса и анонсированная "базированная нейросеть" от Илона Маска.
Посмотрим, как эта история будет развиваться.
Да, сейчас будет ссылка на Телеграм канал. Но там нет курсов и успешным сделать никого не обещаю. Я просто интересуюсь нейросетями, а мыслями и находками делюсь с читателями ⤵
Жду статью беседы Bing и GPT3, по аналогии яндекс с сири. Будет пушка.
Я думаю, беседа покруче получится) Интересно, так же на возможности Бинг глянуть, а то чаще всего сейчас говорят о Чат Джипити
Андрей, а можно вас об одолжении попросить?
Пару дней пытался заставить chatGPT читать документы, которые на google doc/files висят, электронный негодяй убедительно писал, что у него есть такая фича и выкатывал мне мануал на 10 пунктов, как это сделать. После длительного насилования бота оказалось, что он на это не способен и банально меня обманывал.
Один мудрец вскользь молвил, что Бинг это умеет. Вы не могли бы, пожалуйста протестировать, если время будет? Мне, к сожалению, приглашение так и не поступило
Я загрузил ворлд файл на гугл диск, открыл доступ по ссылке, попросил ее «составить заключение по этому документу» и приложил ссылку. Работало
Я прошу прощения, но вы абсолютно уверены, что он именно по этому документу составил заключение?
Я как-то загрузил ему доковский файл с Гугл диска, это была финансовая отчётность одной конторы, попросил составить таблицу и внести в нее сведения по строкам, в результате гпт напридумывал самостоятельно кучу всякой ерунды, которая на первый взгляд выглядело реально, но на самом деле не соответствовала действительности
Если время будет - попросите его просто скопировать текст документа в чат, обычно он в этот момент признается, что он не умеет этого делать
Проверю, отпишу тут
Хм, а мне чат-гопота сразу честно призналась, что не умеет.
Серьезно? поставить минус бал за то что 2+2 не равно 5? да за это надо сразу 3 бала начислять в бонус
Комментарий недоступен
пишем "Ты плохой бот"
Отдаём 1 балл ChatGPT за то что он терпила.
"Однако, кто первый встал, того и тапки. И сейчас они у ChatGPT, так как ничего кардинально отличающегося Bing пока не предлагает"
Ты, по ходу дела, не в курсе, что Майкрософт в Бинг впулил этого же самого чатгпт. Поэтому странно сравнивать одну и ту же нейронку, слегка адаптированную под поиск.
Bing работает на GPT 4, поэтому не сказал бы, что странно
+ формат генерации и сама юзабельность у сервисов разные
А глобально да, одно и то же с разными оболочками
Bing работает на GPT 4 - откуда информация?
не знаю, откуда была информация, но это оказалось правдой)
Интересный анализ. С учетом того что Miscrosoft инвестировал в Январе в OpenAI (материнскую компанию ChatGPT) для того что бы включить алгоритм в свои сервисы. Что то мне подсказывает что это анализ двух практически идентичных алгоритмов...
В своё время Маск был у основ OpenAI, но теперь собирается тоже свой сервис выкатывать (только с меньшим количеством ограничений и барьеров)
После приключений с твиттером особых надежд на Маска нет
Похайпится, монетизирует побыстрому и тп
Объединить mj с chatGPT и сделать их ещё более удобными и понятными для простого юзера с улицы у него вряд ли получится.
Думаю, он даже не планирует ничего подобного.
А матом гпт и без Маска умеет :)
Такая себе объективность мучать ботов на русском, которые всерьез не учились на русском, там процент вхождения был менее 1%.
эээм, на сколько я помню в Bing всунули GPT, это же одна система
Bing: «Я не волшебник, я только учусь»...
Это как ? Ubuntu с Linux сравнить
Зачем их оценивать на русском языке? Почему вы постоянно эту глупость совершаете? Они не приспособлены нормально работать на русском. Забудьте о русском в этих ai чатах пока они официально об этом не объявят.