5 грандиозных анонсов Apple в области искусственного интеллекта на WWDC 2024

Конференция WWDC только что завершилась, и она была насыщена ИИ!

Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

В этом году Всемирная конференция разработчиков Apple (WWDC) стала одним из самых захватывающих и долгожданных мероприятий, особенно с учетом всего шума вокруг искусственного интеллекта. Apple, как известно, хранила молчание о своих разработках в области ИИ, в то время как другие компании, спотыкаясь, запускали свои ИИ-продукты.

Сегодня ожидание закончилось. Наконец-то мы увидели плоды кропотливой работы Apple над ИИ. Вот мои пять лучших анонсов в области ИИ, которые Apple сделала на WWDC 2024:

Siri получила несколько давно необходимых обновлений: более естественную манеру речи, более умные модели генеративного ИИ Apple Intelligence и совершенно новый UI/UX.

Что еще круче? Теперь Siri будет знать о том, на что вы смотрите в данный момент, и сможет выполнять действия в приложении. Например, если вы заполняете форму, в которой требуется ввести номер водительских прав, Siri сможет найти фотографию ваших прав, извлечь номер и автоматически заполнить его за вас.

Подождите... Siri будет следить за моими действиями на экране. Это довольно жутко.

Siri также получит визуальное обновление. Вместо привычного символа она теперь открывается светящимся огоньком по краям экрана вашего iPhone. Благодаря улучшенным возможностям понимания языка вы сможете разговаривать с Siri «более естественно», чем когда-либо прежде.

Если Siri не может ответить на вопрос, вы можете бесплатно подключить ее к модели ChatGPT-4o от OpenAI. Apple обещает, что ваша информация и данные запроса не будут записываться в журнал, что сохранит вашу конфиденциальность.

Посмотрите, как это работает, ниже:

Не по этой ли причине OpenAI сделала основные функции и самую мощную модель ChatGPT бесплатной для всех? Apple гарантирует, что в ChatGPT встроена защита конфиденциальности - ваш IP-адрес скрыт, а OpenAI не хранит запросы.

Также Apple анонсировала App Intents API, который предоставляет разработчикам функционал для глубокой интеграции действий и контента их приложений с системным опытом на всех платформах, включая Siri, Spotlight, виджеты, элементы управления и многое другое.

Подробнее об API App Intents вы можете узнать здесь.

Apple интегрирует новые возможности написания текста на основе ИИ во все приложения и почти везде, где вы пишете, включая Mail, Notes и приложения сторонних разработчиков.

Rewrite

Новая функция Rewrite (переписать) генерирует альтернативные версии ваших черновиков, позволяя вам выбрать ту, которая лучше соответствует вашему стилю или тону. Судя по предварительному просмотру, «Переписать» будет появляться в виде маленькой синей кнопки при выделении текста.

Нажмите на нее, и вы увидите варианты, как сделать текст более «дружелюбным», «профессиональным» или «лаконичным». Вы даже можете использовать Rewrite для обработки конкретных промптов, например «Напиши это в виде стихотворения».

RIP Grammarly и Quillbot! Функция Apple Proofread предлагает бесплатные рекомендации по грамматике, выбору слов и структуре предложений на iOS. Она предоставляет правки с пояснениями, чтобы улучшить ваше письмо.

Если речь идет о более объемных материалах, инструмент Summarize позволяет извлечь ключевые моменты для быстрого просмотра или создать TL;DR для адресатов. Он также работает в папке входящих сообщений, резюмируя длинные письма, чтобы вы могли быстро уловить основные моменты каждого сообщения.

Также Apple обновила функцию «Умный ответ». Она не является новой, но недавние обновления, проведенные с помощью Apple Intelligence, сделали ее еще более точной.

Таким образом, эти новые и бесплатные функции, встроенные в ОС, просто убили сторонние инструменты для написания сообщений.

Выведя эмодзи на совершенно новый уровень, Apple представила Genmoji.

Теперь пользователи могут создавать оригинальные эмодзи для самовыражения, просто набрав описание, и их Genmoji появится вместе с дополнительными опциями.

Вот несколько примеров:

Вы даже можете создать Genmoji друзей и близких на основе их фотографий. Как и эмодзи, Genmoji можно добавлять в сообщения, делиться ими как стикерами или реакцией на нажатие кнопки «Назад». Это добавляет забавный, персонализированный подход к обмену сообщениями.

По моему опыту, иконки или эмодзи, сгенерированные ИИ, все еще остаются неудачными даже при использовании самых мощных ИИ-инструментов и моделей. Интересно, насколько хорошо Apple реализует эту функцию.

Поиск фотографий и видео теперь стал более удобным благодаря поддержке естественного языка. Например, вы можете найти конкретные моменты, сказав: «Фрэнк играет со своей собакой в парке». Улучшен поиск в видео, позволяющий находить конкретные моменты в роликах.

В Memories пользователь может ввести описание, и Apple Intelligence напишет историю с главами, основанными на темах из фотографий, организуя их в фильм с соответствующими предложениями песен из Apple Music.

Для человека, у которого в галерее хранятся тысячи фотографий, это довольно приятная функция, и мне не терпится ее опробовать.

По словам Apple, фотографии и видеоролики пользователей остаются конфиденциальными на устройстве и не передаются ни Apple, ни другим пользователям.

Image Playground - это ответ Apple на MidJourney, Dall-E от OpenAI или Imagen от Google. Это инструмент преобразования текста в изображение, работающий на базе Apple Intelligence.

Он интегрирован в такие приложения, как «Сообщения» и «Заметки», а также доступен как отдельное приложение, что позволяет легко экспериментировать с различными концепциями и стилями. Пользователи могут вводить описания, выбирать личные фотографии и выбирать любимый стиль для создания изображений.

Вот как выглядит отдельное приложение:

Нет никаких упоминаний о том, что Apple использует собственную модель изображений, так что, возможно, они используют Dall-E 3 от OpenAI.

В заметках функция Image Wand в палитре инструментов Apple Pencil превращает эскизы в восхитительные изображения.

Грубые наброски можно превратить в более крутые изображения, а пользователи могут даже выбирать пустые места, чтобы создать изображение, используя контекст из окружающего пространства.

Если вы разработчик, Apple выпустит API Image Playground, чтобы интегрировать его в свои приложения. Это очень интересно.

Я знаю, что нам с вами не терпится опробовать эти новые функции. Подождите немного, потому что есть несколько важных деталей, которые вам нужно знать. Эти функции на базе ИИ будут доступны не на всех устройствах, и системные требования могут вас немного удивить.

Что касается iPhone, то доступ к Apple Intelligence получат только iPhone 15 Pro и iPhone 15 Pro Max. Поэтому, если вы используете более старый iPhone, даже поддерживающий iOS 18, вы не сможете воспользоваться этой функцией.

Для пользователей iPad и Mac требования также довольно специфичны. Вам понадобится устройство с чипсетом M1 или более поздней версии. Это означает, что старые модели iPad и Mac также не смогут воспользоваться преимуществами Apple Intelligence.

Первая бета-версия Apple Intelligence появится осенью этого года.

В целом, я был впечатлен тем, что Apple анонсировала на WWDC 2024. Технологии великолепны, но, зная Apple как компанию, партнерство с OpenAI выглядит немного странно.

Если бы Стив Джобс был жив, он бы переманил ключевых талантов OpenAI сразу после выхода GPT-2 5 лет назад. Он бы ни за что не стал лицензировать программное обеспечение, принадлежащее в основном Microsoft, и провозглашать его величайшей вещью на свете.

Как вы думаете, стоило ли Apple вместо этого создавать собственную модель ИИ?

Что из всего, что было анонсировано сегодня, вам нравится больше всего? Больше всего я рад интеграции ChatGPT и новым инструментам для написания текстов.

Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

#apple #ai #ии

Источник статьи на английском - здесь.