Apple Intelligence: обзор функций искусственного интеллекта от компании Apple

Сегодня состоялась ежегодная конференция Apple для разработчиков, на которой были презентованы последние обновления платформ visionOS, iOS, Audio & Home, watchOS, iPadOS, а также macOS

И, конечно, Apple не могли остаться в стороне от динамичного развития генеративного искусственного интеллекта и презентовали свою систему персонального интеллекта под названием Apple Intelligence

Я постараюсь рассказать об основных функциях и возможностях Apple Intelligence, раскрытых на конференции WWDC 24

Apple Intelligence автоматически приоритизирует уведомления Пользователя для минимизации отвлекающих факторов

Apple Intelligence предоставляет обширные возможности по работе с текстом, а именно:

- автоматически переписывать Ваш email/статью/пост или оформить ваш текст в соответствии с выбранной стилистикой (официальный стиль, неформальный стиль, краткое изложение)

- делать краткое резюме по Вашему тексту

- автоматически проверять Ваш текст на предмет лексических, грамматических и синтаксических ошибок

- smart reply: автогенерировать варианты ответов на входящие email

Данный функционал будет доступен в таких приложениях, как Notes, Safari, Pages, Keynote, а также в некоторых сторонних приложениях

Возможность генерировать персонализированные анимационные картинки на основе фотографий из Вашей книги контактов

Возможность генерировать варианты собственных эмодзи, которые можно будет использовать при переписке с друзьями. Важно, что это происходит локально на устройстве (без использования "облака").

Функции генерации изображений на основе предложенных концептов (например, костюмы, аксессуары, фон и т.д.). Пользователю достаточно только выбрать несколько концептов и в рамках “песочницы” (playground) он получит превью потенциальной картинки. Важно, что это также происходит локально на устройстве. В дополнение к этому, пользователь может самостоятельно добавлять свой собственный концепт в “песочницу” для обогащения генерируемого изображения, а также выбирать стиль картинки (анимация, иллюстрация, скетч)

В дополнение к этому, будет доступен также Image Playground API. Это фреймворк для разработчиков, который позволит интегрировать возможности “песочницы” в их собственные приложения

Возможность преобразовать Ваш набросок в Notes в полноценное изображение с помощью “песочницы”, а также генерировать новое изображение по описанию

Удаление сторонних объектов на фотографиях с восстановлением изображения

Возможность с помощью голосового управления задавать команды, связанные с Вашим внутренним контентом (фотографиям, сообщениям от близких и т.д.). Например, Вы можете сказать AI следующее: “Запусти подкаст, который мне отправила моя жена вчера вечером”.

Таким образом Apple Intelligence теперь может оркестрировать множество действий внутри Вашего устройства (включая работу с подкастами, сообщениями, фотографиями, Safari, камерой, заметками и т.д.)

Локальная работа AI моделей на Ваших устройствах от Apple. Акцент компанией был сделан именно на безопасности такого подхода при обработке персональных данных пользователя. Т.е. AI знает и собирает ваши данные без необходимости отправки этих данных для обработки на сторонний сервер. Также на презентации упомянули о встроенном семантическом индексировании, которое организует управление и взаимодействие с данными через все приложения на Вашем устройстве

Выполнение более сложных запросов на более мощных языковых моделях, расположенных на серверах Apple с защитой ваших персональных данных. Обработка запросов происходит на специальной серии процессоров от Apple (Apple Silicon). Таким образом, при запросе на реализацию определенного действия, внутри устройства Apple происходит анализ на предмет возможности выполнения поставленной задачи локально, либо необходимости в дополнительных мощностях и обработке в облаке. Причем в облако отправляются только данные, которые релевантны поставленной Вами для AI задаче

Встроенный голосовой ассистент был модифицирован по множеству параметров, начиная от крутого эффекта движения волны света на экране и до интеграции с приложениями:

- теперь с Siri можно общаться более естественным языком (она поймет Вас даже если Вы допустили ошибку, а затем исправили запрос)

- Siri также запоминает контекст Вашего общения

- с Siri можно общаться не только голосом, но и текстом (например, вы можете попросить её поставить будильник на завтрашнее утро на 7 часов, написав об этом кв Ваш с ней чат)

- теперь Siri выступает как Knowledge Base и дает пользователю возможность задавать вопросы, связанные с выполнением различных функций на iPhone, iPad и Mac соответственно (теперь не нужно гуглить)

- on-screen awareness: Siri может понимать, что находится у Вас на экране и на основе этой информации - выполнять соответствующие команды (например, на экране у Вас может находиться переписка с Вашим другом, который отправил Вам свой новый номер телефона и Вы можете попросить Siri добавить указанный номер Вашего друга в контакты)

- in-app actions: Siri может помогать вам осуществлять некоторые действия внутри приложений (например, Вы можете попросить её найти фотографии, которые Вы сделали в прошлом месяце во время отдыха с семьей в лесу). Вы можете выбрать фотографию и отредактировать ее, например изменив степень контрастности, с помощью аналогичной команды в адрес Siri

- App Intents и App Intents API: фреймворк для разработчиков приложений для создания набора действий для Siri

Возможность делать запись собственных разговоров по телефону с последующей генерацией короткого резюме Вашего диалога

Принцип разделения реализации запросов между двумя ботами не совсем понятен, но возможно ИИ от Apple может ходить с запросом в Chat-GPT в случае, если запрос касается контента, не связанного с внутренними данными Пользователя или приложений на платформах Apple, и касается стороннего домена знаний (например, как приготовить торт с фисташками). Также Пользователь может генерировать контент с помощью Writing Tools при помощи GPT.

Примечательно, что доступ к GPT-4o будет бесплатным и не нужно будет создавать аккаунт в OpenAI. Важным уточнением на презентации было то, что перед любым использование Chat-GPT - у пользователя предварительно будет запрошено разрешение на отправку данных в OpenAI

______

Обещают, что функционал Apple Intelligence будет доступен бесплатно на версиях iOS 18, iPadOS 18, macOS Sequoia на iPhone, iPad и Mac соответственно.

В целом, функционал довольно впечатляет и, видно, что в компании уже ведется работа над интеграцией Apple Intelligence в другие внутренние платформы и сервисы.

Весьма интересно, предложат ли Apple что-то ИИшное бизнесу или этот B2B рынок они готовы отдать OpenAI?

Подробнее о том, как ИИ меняет бизнес-процессы компаний читайте здесь