Антропик заплатит 15000$ тому, кто найдёт уязвимости в её ИИ

Речь идёт о уязвимостях типа “universal jailbreak”. Эти методы могут последовательно обходить защиту ИИ в таких областях высокого риска, как химические, биологические, радиологические и ядерные угрозы, а также кибербезопасность.

Антропик заплатит 15000$ тому, кто найдёт уязвимости в её ИИ

Привет, меня зовут Рустам и у меня есть свой ИИ инструмент для лидогенерации в телеграме, а в этом блоге я ежедневно публикую новости про ИИ. Сегодня речь пойдёт про Antropic.

Стартап по искусственному интеллекту Anthropic, который поддерживает Amazon (и о котором я косвенно уже рассказывал), запустил расширенную программу вознаграждения, предлагая денежное вознаграждение за определение критических уязвимостей в своих системах искусственного интеллекта.

Anthropic приглашает этичных хакеров (“белых шляп”) протестировать свою систему безопасности перед публичным внедрением, чтобы предотвратить потенциальные эксплойты, которые могут привести к неправильному и вредоносному использованию ее моделей ИИ. Таким образом, сторонние специалисты по кибербезопасности смогут получить до 15000 долларов.

Антропик заплатит 15000$ тому, кто найдёт уязвимости в её ИИ

Кстати, такие гиганты, как OpenAI и Google, также применяют программы вознаграждений, но в основном фокусируются на выявление традиционных уязвимостей в ПО, а не на специфические для индустрии ИИ эксплойты. Напротив же, Anthropic открыто заявляет о своей нацеленности на прозрачность, устанавливая новые стандарты в вопросе безопасности моделей.

“Быстрое развитие возможностей моделей ИИ требует столь же быстрого развития протоколов безопасности. Работая над разработкой следующего поколения наших систем защиты ИИ, мы расширяем нашу программу вознаграждения за ошибки, чтобы представить новую инициативу, направленную на поиск недостатков для предотвращения нецелевого использования наших моделей,”

— говорится на официальной странице программы Antropic.

Это событие — отличный шанс для частных хакеров, чтобы заработать деньги и внести свой вклад в развитие ИИ. Для участия в ней нужно было заполнить форму до пятницы, 16 августа. Теперь нам остаётся следить за ходом событий, и навряд ли это была одноразовая акция. Кто знает, может, это станет обычной практикой среди компаний, разрабатывающих модели ИИ?

Подписывайтесь, чтобы оставаться в курсе новостей в сфере ИИ

Начать дискуссию
Что ждет ИИ в 2025 году

Прогноз от MIT Technology Review. Расскажу, кто уже являются первопроходцами и в каких направлениях ждать новостей.

<a href="https://api.vc.ru/v2.8/redirect?to=https%3A%2F%2Fwww.technologyreview.com%2F2025%2F01%2F08%2F1109188%2Fwhats-next-for-ai-in-2025%2F&postId=1751049" rel="nofollow noreferrer noopener" target="_blank">Источник</a>
22
реклама
разместить
Самые рассудительные модели ИИ учатся строить козни

Те же самые достижения в разработке технологий искусственного интеллекта, которые позволяют передовым моделям решать сложные задачи, похоже, также способствуют и побуждают их замышлять интриги и вводить пользователей в заблуждение.

Конец больших данных или как будут обучаться нейромодели

Вы наверняка слышали, что для нейроне нужны большие данные, и этих данных постоянно нет: или недоступны по причине авторского права, или их тяжело добыть и обработать. А развиваться нужно. Так как быть? Лучше умы думают об этом, и И.Суцкевер (один из ведущих разработчиков искусственного интеллекта и со-основатель OpenAI) предлагает свой любопытный…

Илья Суцкевер сравнивает масштабирование систем ИИ и эволюционную биологию. <a href="https://api.vc.ru/v2.8/redirect?to=https%3A%2F%2Fwww.theverge.com%2F2024%2F12%2F13%2F24320811%2Fwhat-ilya-sutskever-sees-openai-model-data-training&postId=1720318" rel="nofollow noreferrer noopener" target="_blank">Источник</a><br />
22
11
Как искусственный интеллект может спасти от фейков и паники

Расскажу о любопытном случае, который а) доказывает пользу ИИ в науке б) показывает, что ИИ - это не поисковик, а именно интеллект, способный тягаться с учеными.

<a href="https://api.vc.ru/v2.8/redirect?to=https%3A%2F%2Fx.com%2Femollick%2Fstatus%2F1868329599438037491&postId=1711130" rel="nofollow noreferrer noopener" target="_blank">Источник</a>
22
11
Гарвард и Google дадут доступ к миллиону книг для обучения нейросетей

Это отличная новость для развития нейросетей, и достаточно неожиданная. Расскажу, почему это так.

<a href="https://api.vc.ru/v2.8/redirect?to=https%3A%2F%2Ftechcrunch.com%2F2024%2F12%2F12%2Fharvard-and-google-to-release-1-million-public-domain-books-as-ai-training-dataset%2F&postId=1705899" rel="nofollow noreferrer noopener" target="_blank">Источник</a>
44

Защита от всего

Американский #стартапдня Protect AI занимается безопасностью генеративных нейросетей для корпораций. По моим ощущениям, проект возник не вокруг идеи какого-то конкретного продукта, а от понимания рынка и запроса клиентов. “Появилась новая суперважная технология, там точно будет много рисков, и клиенты будут готовы платить за устранение этих рисков”…

Anthropic и гонка к «безопасному ИИ»: что рассказал CEO компании Dario Amodei на подкасте Lex Fridman

Недавно Лекс Фридман пригласил Dario Amodei, основателя и CEO компании Anthropic, на подкаст, где они почти пять часов обсуждали, к чему идёт развитие ИИ и как создать мощные, но безопасные модели. Если у вас, как и у меня, нет пяти часов на просмотр, — я подготовил это саммари, чтобы решить, стоит ли тратить время на весь эпизод. Делясь краткими в…

Anthropic и гонка к «безопасному ИИ»: что рассказал CEO компании Dario Amodei на подкасте Lex Fridman
33
Главные выводы из отчета State of AI 2024: все ужасно перспективно
[]