🤖 Итоги недели в мире ИИ и обзоры новых сервисов: как легко и просто взломать LLM

Привет!

Мы запустили еженедельную email-рассылку, посвященную последним новостям и тенденциям в мире искусственного интеллекта. Наша цель – держать подписчиков в курсе самых интересных открытий, исследований и приложений ИИ.

В еженедельных письмах ты найдешь:

С помощью браузера Opera теперь можно загружать и использовать локальные LLM; Stability AI представила новую версию модели Stable Audio 2.0; OpenAI будет использовать в обучении GPT-5 транскрипты публичных YouTube-видео.

ReALM AI, новая мини-модель Apple, разработанная специально для ассистента Siri, может видеть и понимать все, что происходит на экране девайса – и, по утверждению разработчиков, превосходит по возможностям GPT-4.

С помощью браузера Opera теперь можно загружать и использовать локальные LLM. Opera уже поддерживает более 150 моделей из 50 различных семейств, в том числе Llama*, Gemma, Orca, Mistral и Vicuna. На данный момент в браузере можно использовать только те модели, которые входят в библиотеку Ollama, но разработчики обещают реализовать поддержку моделей из других источников в ближайшие недели.

Вслед за писателями, иллюстраторами и актерами к протестам против неэтичного использования ИИ подключилось 200+ известных музыкантов, включая Imagine Dragons, Билли Айлиш, Ники Минаж и Кэти Перри. Это во многом связано с тем, что продвинутые ИИ (например, Suno) уже генерируют музыку шокирующе высокого качества – большая часть музыкантов среднего уровня действительно рискует остаться без работы в ближайшее время.

Stability AI представила новую версию модели Stable Audio 2.0 для генерации музыкальных треков длиной до 3 минут. Модель поддерживает настройку параметров, использование аудиореференсов и добавление эффектов с помощью текстовых промптов. Попробовать можно здесь.

AI компании уже соскрапили почти весь интернет и в ближайшее время начнут испытывать недостаток в данных. По слухам, OpenAI будет использовать в обучении GPT-5 транскрипты публичных YouTube-видео. А многие другие компании уже используют синтетические данные, хотя есть опасения, что сгенерированная информация – цифровой аналог близкородственного скрещивания, которое может привести к мутациям и вырождению. Но это не точно: Anthropic тренировала всю линейку Claude 3 на синтетических данных, и модель Opus стала первой LLM, бесспорно превзошедшей GPT-4.

Какие модели лучше всего справляются с суммаризацией

Одна из самых полезных функций LLM – суммаризация объемных документов/книг и ответы на вопросы по их содержимому. Но чем объемнее текст, тем сложнее оценить точность суммаризации и ответов. Авторы этого масштабного исследования подошли к решению проблемы серьезно:

Чемпионом по точности оказался Claude 3 Opus – эта модель значительно превосходит все проприетарные LLM. Из опенсорсных моделей наилучшие результаты показала Mistral – ее способности сопоставимы с GPT-3.5-Turbo.

Анализ аннотаций показал, что:

В течение 2023 года средний объем контекста, который способны обрабатывать чат-боты, увеличился с 4000+ до 1 млн+ токенов. Это открыло новые возможности для злоумышленников – в больший объем контекста можно незаметно включить больше вредоносных инструкций.

Разработчики Anthropic описали новую технику обхода директив безопасности LLM – многоступенчатый взлом, для которого необходим большой объем контекста. Метод заключается в том, чтобы незаметно перенастроить модель на выполнение вредоносных запросов, на которые она обычно отказывается отвечать.

Вот как это работает:

Эта примитивная, на первый взгляд, тактика срабатывает из-за эффекта обучения в контексте. Причем эффективность взлома растет по степенной зависимости от количества фиктивных диалогов. В итоге, злоумышленник может заставить LLM выполнять его команды, даже если изначально модель была запрограммирована их не выполнять. Anthropic уже внедрила некоторые противодействия, но это сложная проблема, требующая дальнейшей работы.

Undermind – ИИ-поисковик, который ищет решения самых сложных проблем по огромной базе научных публикаций.

Tabnine – продвинутый ИИ-ассистент разработчика. Пишет код, документацию и тесты, отвечает на вопросы, переводит программы с одного языка на другой, выполняет рефакторинг.

IMG2HTML – конвертирует скриншоты в HTML-код, экспортирует элементы для переиспользования в качестве UI-компонентов. Может создать клон сайта по URL.

Glowbom – создает мобильные и веб-приложения по промптам и наброскам.

CallTeacher – ИИ-преподаватель иностранных языков.

MathGPTPro – поможет с решением сложных математических задач.

Blog Ideas Generator – генерирует идеи для историй и постов.

Photoroom – мощный ИИ-редактор изображений.

Lewis – многофункциональный инструмент для визуализации историй. Создает персонажей, сцены, придумывает развитие сюжета. Можно использовать для создания видеоисторий, музыкальных клипов, презентаций, трейлеров.

LM Studio – скачает с Hugging Face любую LLM и запустит ee локально на Windows, Unix или macOS. После установки модель будет работать без подключения к интернету.

Prototyper – генерирует и редактирует UI-код на основе текстового описания.

DubVid – переводит и дублирует видео на 25+ языках. Для максимальной аутентичности использует клонирование голоса и подстраивает перевод под движения губ.

MyReport – подготовит отчет на любую тему. Может использовать онлайн-данные и информацию из вашего облачного хранилища.

OpenAI на днях добавила в DALL-E 3 возможность редактирования изображений. Здесь показано, как использовать эту функцию.

А это видео – полный путеводитель по эффективным приемам генерации видео с помощью Pika 1.0.

GPT Author теперь работает не только с моделями OpenAI, но и с Claude 3. GPT Author – интересный инструмент для генерации объемного, логически связанного контента. С его помощью можно сгенерировать текст и иллюстрации для романа в жанре фэнтези. Инструмент работает так:

Весь процесс занимает несколько минут и обходится всего в $4. Остается лишь выставить книжку на продажу и дождаться покупателей. Profit!

LLocalSearch – полностью локальный ИИ-поиск, использующий Ollama и не требующий API-ключей. Основные возможности и преимущества:

На этом все, до следующей недели!

* Llama – продукт компании Meta, деятельность которой признана экстремистской и запрещена на территории РФ.

Автор рассылки: Наталья Кайда