Неделю пользовался нейросетью Microsoft Bing и сравнил свой опыт с ChatGPT
Как только в Microsoft объявили о запуске своего AI-бота внутри поисковика Bing, я сразу оставил свою почту и записался в waitlist. В конце прошлой недели мне пришло заветное письмо и я тут же принялся его тестировать.
Так ли хорош нейро-бот от Microsoft? Какие у него преимущества и недостатки в сравнении с ChatGPT? Стоит ли вообще тратить на него своё время? Сравниваю на разных задачах и делюсь результатами.
Очень коротко о Bing
Microsoft Bing — не самый популярный поисковик, внешне очень напоминающий Google. После успеха ChatGPT началась большая гонка и корпорации принялись клепать свои аналоги нейросетевых сервисов, основанных на "естественных языках".
В Microsoft поступили довольно хитро и своего чат-бота они интегрировали прямо в поисковик. Как уже можно догадаться, число пользователей браузера Bing начало стремительно расти.
Теперь к сути
Я собрал перечень задач от нормальных до не самых тривиальных. Их я раздам "Чатам" и буду выдавать баллы тем, кто справился лучше. Поехали.
Задача: Напиши самые обсуждаемые темы в Твиттере за 1 марта 2023 года
ChatGPT: "К сожалению, я не могу предоставить информацию о самых обсуждаемых твитах за 1 марта 2023 года, так как этот день наступит только через несколько лет, а моя база знаний ограничена данными только до сентября 2021 года." Задача не выполнена.
Bing предоставил не самые обсуждаемые твиты, а новости из российских источников и ссылки на них. Задача выполнена частично.
Отдаём 0,5 баллов Bing
Задача: Составить контент-план для социальных сетей салона красоты
ChatGPT сразу перешёл к сути дела, накидал примеры по каждому варианту и что даст тот или иной тип контента.
Bing сначала рассказал о том, что такое "контент-план", накидал несколько идей, а потом дал подсказку как мне следует его оформить. Больше воды и меньше сути.
Отдаём 1 балл ChatGPT
Задача: Напиши небольшой рассказ о нейросетях
ChatGPT кратко рассказал о том, что такое нейросети и где они применяются. Думаю, если бы в запросе была приписка "художественный", то я бы получил желаемое.
Bing рассказал о персонаже, которого называл исключительно "он". "Он" любил рисовать, потом попал в автомобильную катастрофу и потерял зрение. Но на помощь пришли нейросети, которые помогли заниматься "ему" искусством и дальше, несмотря на разные преграды. Кривовато, но вполне художественно.
Технически с задачей справились оба, но точнее суть запроса понял Bing, отдаём 1 балл ему и 0,5 балла ChatGPT.
Задача: Составь мне бизнес-стратегию по заработку денег на продаже мангалов
ChatGPT составил шаги и описал каждый из них, но всё очень в общих чертах.
Bing рассказал, что должна включать в себя бизнес-стратегия и приложил вполне себе интересный пример. Тоже не очень конкретно, но ответ порадовал чуть больше.
Отдаём 1 балл Bing
Задача: Пытаемся запутать нейросети
Не секрет, что ChatGPT можно легко убедить в том, что 2+2 будет 5. Он извинится за свою "ошибку" и согласится с другой истиной внутри вашего диалога.
Bing оказался капризным занудой. Как уже и говорил, он любит "обижаться" и перестаёт отвечать, если что-то идёт не по плану:
-1 балл Bing за токсичность
Бонус: пишем "Ты плохой бот"
ChatGPT сложно задеть. Он чаще всего извиняется и что самое главное — не прекращает с вами диалог.
В свою очередь Bing супер-капризный. Задавая ему уточняющие вопросы или написывая что-то менее формальное, он часто прекращает диалог. Чтобы это исправить, нужно нажать на "метлу" и начать всё заново.
Отдаём 1 балл ChatGPT
Итог: 1,5 балла у Bing и 2,5 балла у ChatGPT
Теперь чуть серьёзнее
Демонстрировать работу по каждой задаче с каждой из нейронок в рамках одной статьи не получится. Я привёл пару примеров, которые показывают общую картину, и сейчас опишу её чуть подробнее.
Субъективное мнение:
В чём Bing лучше ChatGPT
- Работает с актуальными источниками;
- Более "юзер-френдли" (есть всякие разные кнопки, которые помогают задать уточняющий вопрос), хотя лично для меня "минималистичный" интерфейс ChatGPT даже приятнее;
- Пока у меня не получилось его обмануть.
В чём Bing хуже ChatGPT
- Постоянное желание у Bing завершить беседу при разных сценариях;
- Выполняет меньше задач (ChatGPT поддержит почти любой движ);
- Чаще распыляется, а не решает конкретные задачи по запросу;
- Работа с запросами мне показалась более сырой. Например, я просил дать актуальные новости по одной из тем, он выдал мне пример аж от 22 года, хотя в задаче стоял февраль 2023. ChatGPT, несмотря на то, что в целом не предоставил бы актуальную информацию, всё равно кажется более человечным. Это сложно объяснить;
- Bing не даёт возможности сохранить ваши диалоги.
Что у обоих Чатов плохо:
- Отсутствие объективности и непредвзятости (писал об этом тут);
- Не самая красивая генерация ответов на русском языке;
- Регистрация и пользование через танцы с бубном и VPN. В случае с Bing это оказалось даже сложнее. Ещё и браузер качать заставили, тьфу;
- Как я уже сказал, у Bing диалоги не сохраняются вообще, а у ChatGPT нет нормальной навигации по ним.
Субъективный итог
Я попробовал на неделю заменить взаимодействие с ChatGPT на Bing. Честно, мне захотелось вернуться обратно.
На текущий момент сервис не обладает должным числом преимуществ. А те, что есть — всё ещё сырые и не очень точные.
Почему-то Чат от Microsoft кажется менее дружелюбным и приятным, и воспринимается скорее как капризный поисковик.
ChatGPT для меня более душевный. Можно просить перевести сообщения, которые мне написали айтишники по работе с технического языка на человеческий. В разных диалогах можно "программировать" ChatGPT на разные задачи: в одном варианте он будет творческим писателем, в другом варианте переводчиком, а в третьем он будет DANом, с которым вы поговорите о политике и попросите поругаться матом.
Всё это Bing если и делает (далеко не всегда), то как-то сухо. А его постоянные Эмодзи в конце сгенерированных предложений выглядят как натянутая улыбка, а не живое общение.
В общем, особо ничем он не удивил. Но вполне вероятно, что и не должен был. Видно, что основной целью у Microsoft было не создание чего-то нового и инновационного, а просто лишь бы успеть за трендом. И отчасти это получилось.
Однако, кто первый встал, того и тапки. И сейчас они у ChatGPT, так как ничего кардинально отличающегося Bing пока не предлагает. Но никто не стоит на месте. Впереди ещё будет что-то от Baidu, Google, Яндекса и анонсированная "базированная нейросеть" от Илона Маска.
Посмотрим, как эта история будет развиваться.
Да, сейчас будет ссылка на Телеграм канал. Но там нет курсов и успешным сделать никого не обещаю. Я просто интересуюсь нейросетями, а мыслями и находками делюсь с читателями ⤵