Илья Суцкевер из OpenAI об ИИ, человечестве в 3000 году и $1 млрд на Alignment

Буквально за полгода человечество ворвалось в новую эпоху AI. Теперь об искусственном интеллекте не рассуждает только ленивый. А мы ведь только в самом начале - накал разоблачений, страшилок и неоправданного оптимизма будет только нарастать. В этой статье я хотел бы изложить основные идеи из интервью главного исследователя Open AI Ильи Суцкевера.

Для удобства разделил на смысловые блоки, приятного чтения.

Правительства могут использовать модели GPT для незаконных целей, например, для распространения пропаганды или мошенничества. Он отмечает, что масштабное отслеживание такой деятельности возможно, но требует специальных операций.

Экономическая ценность, создаваемая искусственным интеллектом, будет расти в геометрической прогрессии до достижения AGI. Однако, Илья считает, что трудно определить точно, насколько значительной будет экономическая ценность искусственного интеллекта в будущем.

Парадигма может пойти очень далеко, но возможно, она не будет конечной формой AGI. Он также предполагает, что следующая парадигма будет включать в себя интеграцию всех различных идей, которые появлялись в прошлом.

Подход next token prediction может превзойти человеческое понимание, так как этот подход подразумевает, что модель понимает базовую реальность, которая привела к созданию токена.

Хотя некоторые исследователи считают, что рано или поздно мы исчерпаем возможности обучать модели из-за недостатка токенов, но это произойдет только в будущем, и к этому времени мы найдем другие способы обучать модели. Источники данных, такие как Reddit, Twitter ценны, мульти-модальный подход может быть очень перспективным в будущем. Вопрос о том, где мы еще не получили токены, остается нерешенным.

Суцкевер считает, что Retrieval Transformers представляют собой многообещающее направление, а также утверждает, что OpenAI приняла правильное решение, отказавшись от исследований в области робототехники в прошлом.

Илья считает маловероятным наличие математического определения выравнивания, скорее всего, будет достигнуто несколько определений, которые рассмотрят выравнивание с разных сторон.

Степень уверенности должна быть зависимой от способностей модели, чем больше способностей, тем большая уверенность нужна.

Не существует четкого критерия, который можно было бы использовать для вручения награды в $1 млрд за достижения в области выравнивания.

Инвестиционные прогнозы Open AI на 2024 год могут быть верными, но они основаны на ранее запущенных продуктах, таких как GPT-3, DALL-E и ChatGPT. Он отмечает, что нужно иметь данные, чтобы сделать разумные экстраполяции, и что ошибки могут быть огромными, если предположения делаются из воздуха.

Вопрос о том, как будет выглядеть будущее после достижения AGI, вызывает сложные вопросы о том, где люди найдут свой смысл жизни. Однако ИИ может помочь увидеть мир более разумно и стать лучше благодаря взаимодействию с AGI.

Человечество может стать частью ИИ, чтобы расширить свой разум и способность решать сложные проблемы.

Никто не знает, будут ли люди с телами на Земле в 3000 году. Изменения являются единственной константой, и мир будет продолжать меняться и развиваться после появления AGI.

Илья считает, что на данный момент мы не имеем способа оценить, насколько большим будет успех AGI как новой общей технологии.

Важно не только придумывать новые идеи, но и понимать результаты, анализировать поведение системы и находить ошибки.

Работа над пониманием существующих идей занимает большую часть времени, по сравнению с придумыванием новых идей.

Инференс лучших моделей будет становиться все более дорогостоящим, но если модель является более полезной, чем дорогостоящей, то инференс не будет являться препятствием.

Уже сегодня на рынке есть разные модели нейронных сетей разных размеров и стоимости, а также различные компании, специализирующиеся на разных областях.

Обучение моделей на Azure было фантастическим, и Microsoft был очень хорошим партнером для OpenAI.

Если что-то произойдет на Тайване, это может стать значительным препятствием для развития AI, так как большинство производителей компьютеров и чипов находятся на Тайване, но есть возможность использовать фабрики в других странах, хотя это может быть менее эффективно и дорого.

Прогресс в области deep learning неизбежен, поскольку улучшение компьютеров, доступность данных и разработка технологий происходят параллельно и непрерывно.

В случае отсутствия ключевых фигур в deep learning, вероятно, прогресс несколько задержится, но продолжится.

Несмотря на наличие определенных идей для выравнивания моделей на текущем уровне, выравнивание будущих более умных моделей будет сложным.

Академические исследования могут привести к важным открытиям в области deep learning и понимания возможностей моделей.

Прогресс в машинном обучении достигается не только благодаря новым открытиям, но и благодаря пониманию того, что что-то имело желаемые свойства все это время, но люди не замечали этого. Некоторые будущие прорывы будут восприниматься такими же очевидными, как и текущие технологии.

Forward forward - попытка обучить нейронную сеть без использования backpropagation, что особенно интересно для тех, кто хочет понять, как обучается мозг. Если же речь идет о создании хорошей системы, нет причин не использовать backpropagation, поскольку это пока единственный работающий алгоритм.

Необходим упорный труд, чтобы достичь успеха в машинном обучении, но этого недостаточно. Также нужно иметь правильный взгляд на вещи, чтобы действительно понять, что происходит. Многие факторы должны совпасть для прорыва в науке.

Спасибо за внимание. Пишу про AI и NLP в телеграм