Anthropic и гонка к «безопасному ИИ»: что рассказал CEO компании Dario Amodei на подкасте Lex Fridman

Недавно Лекс Фридман пригласил Dario Amodei, основателя и CEO компании Anthropic, на подкаст, где они почти пять часов обсуждали, к чему идёт развитие ИИ и как создать мощные, но безопасные модели. Если у вас, как и у меня, нет пяти часов на просмотр, — я подготовил это саммари, чтобы решить, стоит ли тратить время на весь эпизод. Делясь краткими выводами с вами!

Anthropic, компания, основанная ветеранами OpenAI, делает ставку на «ответственное масштабирование» ИИ. Основной метод компании — так называемые «законы масштабирования»: Dario объясняет, что с ростом объёма данных и увеличением сложности сетей модели ИИ начинают показывать более высокие результаты. Сейчас Anthropic работает с масштабом, где уже задействуются тысячи GPU для обучения, и команда считает, что так можно достичь почти человеческого уровня интеллекта к 2027 году. Амодеи отмечает, что новый выпуск модели, например Claude 3.5, приближает к этому рубежу с каждым обновлением.

Одной из сложных и амбициозных задач Anthropic является разработка интерпретируемых моделей, или, как это назвали в компании, «механистическая интерпретируемость». Этот метод напоминает попытку вскрыть «чёрный ящик» и увидеть, как на самом деле ИИ принимает решения. Компания считает, что в будущем подобная прозрачность может стать обязательной для систем, применяемых в медицине, финансовом секторе или для управления инфраструктурой, поскольку она создаёт возможность контролировать модели и предотвращать их потенциально опасное поведение.

Амодеи признаётся, что основная трудность заключается в соблюдении баланса между ростом возможностей и ответственностью за их использование. Anthropic разрабатывает и тестирует свои модели в несколько этапов, привлекая независимых экспертов для оценки рисков. Это помогает избежать неожиданных последствий — от неуместных ответов до серьёзных системных сбоев, когда модели разворачивают для бизнеса или других значимых приложений.

В своём разговоре с Лексом Фридманом Dario подчёркивает, что Anthropic конкурирует с такими гигантами, как OpenAI, Google и Meta. Но, по его словам, Anthropic выбрала стратегию «гонки к вершине» (race to the top) — компанию интересует не столько первенство, сколько создание примера для всей индустрии, в котором безопасность ставится на первое место. Anthropic стремится не столько к лидерству, сколько к тому, чтобы подтолкнуть других участников рынка к соблюдению высоких стандартов в вопросах этики и безопасности.

По мнению Амодеи, задача Anthropic — находить способы управлять поведением моделей, когда оно необходимо, и ограничивать возможности там, где это нужно. Сейчас Anthropic разрабатывает модели, способные решать всё более сложные задачи, при этом команда активно тестирует их реакцию на различные сценарии, от стандартных запросов до нежелательных действий. По словам Dario, научиться «управлять» ИИ будет критически важно по мере его интеграции в повседневные приложения и инфраструктуру — от личных помощников до медицинских систем.

Anthropic считает, что будущее за мощными и полезными моделями ИИ, но их сила должна идти в паре с безопасностью. Компания делает упор на то, чтобы все её разработки были максимально прозрачными и контролируемыми. В мире, где искусственный интеллект растёт буквально на глазах, эта задача требует нового подхода к этике, контролю и технологиям, что делает Anthropic одним из лидеров в гонке за безопасное будущее ИИ.

Если вам так же как и мне интересны темы AI, B2B продукты, SAAS, то подписывайтесь на мой канал и давайте держаться вместе!