От дружелюбного ИИ к монетизации и одержимости имиджем: почему бывший стартап Илона Маска OpenAI предал свои идеалы

Компания хотела стать первой в создании безопасного искусственного интеллекта и выбрала закрытый и коммерческий путь вместо прозрачности и объединения усилий с другими разработчиками. Своё недоверие проекту высказал Илон Маск.

Конспект материала MIT Technology Review.

За четыре года существования OpenAI стала одной из ведущих исследовательских лабораторий по разработке искусственного интеллекта.

Она сделала себе имя на больших исследованиях, как и DeepMind, принадлежащая Alphabet. OpenAI любят в Кремниевой долине, а среди основателей были Илон Маск и инвестор Сэм Альтман. При запуске стартапа в 2015 году частные инвесторы обещали вложить в компанию $1 млрд.

Цель OpenAI — стать первым создателем дружелюбного ИИ общего назначения (Artificial general intelligence — AGI), универсальную машину, которая обладает способностью к обучению и рассуждению.

Разработав AGI компания не стремится к мировом господству — в идеалах лаборатории обеспечить безопасное развитие технологии и равномерное распределение её возможностей по всему миру.

Но после трёх дней в офисе OpenAI и почти 30 интервью с бывшими и нынешними сотрудниками, их друзьями и экспертами появился другой взгляд на то, чем занимается и как себя ведёт организация, пишет журналистка MIT Technology Review Карен Хао.

По её мнению, есть несоответствие между публичностью OpenAI и тем, как она работает за закрытыми дверями: при всех благородных мотивах амбиции компании вынудили её создать закрытое подразделение с коммерческими исследованиями, усилить конкуренцию и всё меньше быть открытой, дружелюбной и прозрачной.

AGI — универсальная «машина результатов», которая получает определённую задачу и с помощью сенсоров и управляющих элементов выполняет её.

ИИ общего назначения может считаться система, которая справится с любой задачей: от управления беспилотником и ядерным реактором до продажи товаров и написания текстов.

MIT Technology Review пишет, что AGI может легко выйти из-под контроля, если развитие технологии будет идти по пути наименьшего сопротивления: алгоритмы могут быть предвзяты и ненадёжны, а большая стоимость разработки может сконцентрировать власть в руках узкой группы людей.

Поэтому создание и распространение AGI может привести к катастрофическим последствиям без осторожного управления доброжелательными создателями.

OpenAI хотела быть этим доброжелательным создателем, и тщательно разрабатывала свой имидж и старалась соответствовать ему.

Например, в области ИИ, где доминируют крупнейшие технологические корпорации, лаборатория OpenAI была некоммерческой — по словам основателей, чтобы создавать ценность для всех, а не только акционеров.

Для OpenAI настолько важно, чтобы AGI был безопасен для общества, что если бы другая компания приблизилась к завершению его разработки, OpenAI не конкурировала бы с ней, а объединила усилия.

Такой добродетельный имидж и заявления компании привлекали внимание СМИ и инвесторов.

Компания заявляла, что миру необходима научно-исследовательская лаборатория, которая может расставить приоритеты, исходя из интересов общества, а не собственных интересов.

Сотрудникам было рекомендовано публиковать свои работы в формате статей, публикаций в блогах и открытого кода, а патенты OpenAI обещала распространять по всему миру. Подтекст был прост: другие лаборатории, такие как DeepMind, не могли служить человечеству, потому что ограничены коммерческими интересами.

Пока они были закрытыми, OpenAI была бы открытой.

Бывший технический директор платежной системы Stripe Грэг Брокман пришёл на аналогичную должность в OpenAI. Директором по исследованиям стал Илья Сукцевер, ученик «пионера ИИ» Джеффри Хинтона, а семь исследователей были набраны из лучших технологических университетов и компаний.

Также к OpenAI присоединился исследователь Иэн Гудфеллоу, автор моделей генеративных сетей, книг по глубокому обучению и сотрудник лаборатории Google Brain.

Команда была небольшой, формировалась через связи друг с другом, а руководство оставалось свободным и неформальным. OpenAI верила в «плоскую структуру», где любая идея или обсуждение будут приветствоваться всеми.

Но неформальность привела к неопределённости развития. В мае 2016 года к Альтману и Брокману приехал исследователь Google Дарио Амодей и заявил, что никто не понимает, чем занимается OpenAI. Позже он вместе с женой присоединился к команде OpenAI.

Более того, было неясно, понимает ли сама команда свои задачи, признаётся Брокман: «Мы начали с ничего. У нас просто был идеал — дружелюбный AGI».

В формировании видения OpenAI большую роль сыграл Илон Маск, отмечает профессор Калифорнийского университета Питер Аббил, который в первые два года основания компании работал там со своими учениками.

Маск предполагал, что создание AGI возможно на 0,1–1% в ближайшие пять-десять лет, и просил задуматься об этом, что мотивировало людей, говорит Аббил.

К марту 2017 года, спустя 15 месяцев после основания OpenAI, руководство поняло, что пришло время сфокусироваться на разработке ИИ. Брокман и несколько других членов команды начали составлять внутренний документ, следуя которому будет разрабатываться AGI.

Но в процессе выявился недостаток: команда изучила возможности и поняла, что оставаться некоммерческой организаций нецелесообразно с финансовой точки зрения. Вычислительные ресурсы, которые использовали другие исследователи в области ИИ для достижения прорывных результатов, удваивались каждые три-четыре месяца.

Брокману стало ясно: команде нужно достаточно денег, чтобы разработки оставались актуальными — соответствовали росту вычислительной мощности или превосходили её.

Для этого потребовалась новая организационная модель, которая могла бы быстро получать деньги, но при этом соответствовать идеалам миссии OpenAI.

Без ведома общественности и большинства сотрудников OpenAI выпустила обновлённый устав в апреле 2018 года. В документе были сформулированы основные ценности лаборатории, но формулировки были более расплывчатые — они отражали новую реальность, в которой OpenAI становилась коммерческой.

Кроме обязательства избегать чрезмерного использования ИИ или AGI, которые могут нанести вред человечеству, или сосредоточить власть в одних руках, OpenAI подчеркнула необходимость в деньгах.

«Мы ждём, что для выполнения нашей миссии нам потребуются значительные ресурсы. Но мы всегда будем действовать так, чтобы свести к минимуму конфликты интересов среди сотрудников и заинтересованных сторон, которые могут поставить под угрозу выгоду общественности», — говорилось в документе.

Изменение структуры произошло в марте 2019 года. OpenAI лишилась статуса некоммерческой организации. Она открыла коммерческое подразделение OpenAI LP, в котором установило для инвесторов возможность получить ограниченную 100-кратную прибыль от их вложений.

Коммерческой структурой управлял тот же совет директоров, что и у материнской некоммерческой лаборатории.

Вскоре после этого OpenAI объявила о получении инвестиций в размере $1 млрд от Microsoft, при этом не разъяснив, какая часть инвестиций в денежной форме, а какая — в деньгах на счете облачной платформы Microsoft Azure.

Шаг с 100-кратным возвратом инвестиций вызвал волну критики. Например, на форуме Hacker News пользователи задались вопросом, можно ли ограничить стократное ограничение.

В ответ на это Брокман заявил, что если OpenAI создаст AGI, то сможет заработать больше, чем любая существующая компания.

Изменения также напугали сотрудников, которые выразили аналогичные опасения. Чтобы успокоить их, руководство написало памятку, в которой, например, утвердительно ответила на вопрос «Могу ли я доверять OpenAI» с большим разъяснением.

Устав OpenAI больше похож на религиозные писания, которое объясняет каждый аспект существования компании и заставляет безоговорочно следовать ему, отмечает журналистка MIT Technology Review.

Например, руководство ссылается на устав, когда отвечает, как OpenAI будет конкурировать за то, чтобы первой создать безопасный AGI, или равномерно распределять его возможности в обществе: «Наш лучший шанс (быть первыми) — это то, что есть в уставе».

Жёсткая привязка к документу работает: все сотрудники объединены общей целью с единой культурой и относятся к исследованиям ИИ не просто как к работе. Они постоянно разговаривают о работе, даже во время обеда, ходят на одни и те же мероприятия, изучают философию «эффективного альтруизма» и шутя описывают свою жизнь терминами искусственного интеллекта.

Но в середине 2019 года, вскоре после перехода к коммерческой основе, руководство ввело новую структуру оплаты труда, частично основанную на «миссии сотрудника». Кроме пунктов «инженерная экспертиза» и «направление исследований», в таблице карьерной лестницы появилась колонка «уровней» сотрудника , связанная с уставом.

Для достижения третьего уровня нужно «понимать и усваивать устав OpenAI», на пятом уровне — «гарантировать, что все личные проекты и проекты коллег соответствуют уставу», а на седьмом — «нести ответственность за соблюдение и улучшение устава, а также за то, чтобы другие члены организации тоже несли за это ответственность».

14 февраля 2019 года OpenAI объявила о создании модели GPT-2, которая может генерировать качественные эссе и тексты с помощью одного вступительного предложения. Исследователи лаборатории заявили, что GPT-2 слишком опасна, чтобы её выпускать, назвав её силой, которую легко использовать для дезинформации в огромных масштабах.

Двусмысленное заявление вызвало критику учёных, часть которых заявила, что GPT-2 лишь рекламный ход: модель либо недостаточно развита, чтобы представлять угрозу, либо заявление OpenAI о существовании мощной модели и препятствование общественному контролю бессмысленно.

«Казалось, что OpenAI пытается извлечь выгоду из паники вокруг ИИ», — заявил доцент Рутгерского университета, Бритт Пэрис, изучающий дезинформацию, сгенерированную ИИ.

В мае 2019 года OpenAI пересмотрела позицию и объявила о планах «поэтапного релиза». Стартап в течение нескольких месяцев публиковал всё более мощные версии GPT-2 и сотрудничал с исследовательскими лабораториями, чтобы изучить возможности злоупотребления алгоритмами и разработать контрмеры.

В ноябре 2019 года OpenAI опубликовала полную версию GPT-2, заявив, что нет веских доказательств злоупотреблений, а анонс не был рекламным ходом.

По словам представителей лаборатории, это был тщательно продуманный эксперимент, согласованный после внутренних обсуждений — и если даже они перегнули палку, это создало бы прецедент для более опасных исследований.

Более того, в уставе предсказывалось, что соображения безопасности постепенно вынудят лабораторию сократить традиционные публикации в будущем.

Тем не менее принцип анонса и распространения GPT-2, а также объяснения в блоге о безопасности не убедили научное сообщество: по мнению критиков OpenAI, компания преувеличивает шум вокруг своей деятельности и интерпретирует результаты в свою пользу до полного искажения.

Более того, ИИ-сообщество связало изначальную закрытость GPT-2 с переходом OpenAI на коммерческую основу и предположило, что таким образом компания хочет сохранить в тайне технологию, чтобы впоследствии лицензировать её.

По этим причинам многие ученые в области ИИ решили держаться подальше от компании, заявляет MIT Technology Review.

Во внутренних документах лаборатории указано, что OpenAI должна рассматриваться как самый перспективный проект в области машинного обучения и создания AGI, чтобы влиять на политику на государственном уровне, а для этого нужна широкая поддержка со стороны научного сообщества.

Из-за скандала с GPT-2 в OpenAI начались внутренние обсуждения, как исправить положение, так как внешняя критика привела к потере доверия сотрудников и проблемам с наймом лучших на рынке специалистов. Для решения проблемы компания решила изменить тон и формат публикаций и относиться к научному сообществу как к заинтересованной стороне.

Существует две теории о том, как можно создать AGI, пишет MIT Technology Review. В одной из них все необходимые методы уже существуют и нужно просто выяснить, как их собрать и масштабировать. В другой есть мнение, что для AGI нужно придумать совершенно новую парадигму (мышления ИИ), а основной на данный момент технологии глубокого обучения будет недостаточно.

Большинство исследователей колеблются между этими вариантами, но OpenAI уже сделала свой выбор — большинство её научных прорывов получены благодаря использованию больших вычислительных мощностей в технических инновациях, разработанных другими лабораториями.

Брокман и другие сотрудники отрицают, что это единственная стратегия OpenAI, но исследования лаборатории говорят об обратном.

Команда OpenAI под названием «Предвидение» проводит эксперименты, с помощью которых проверяет, насколько сильно они могут улучшить возможности ИИ, обучая существующие алгоритмы всё большим объёмом данных и увеличивая вычислительную мощность.

Результаты экспериментов подтвердили идею руководства, что лучшая стратегия — наращивать вычислительную мощность в уже существующих технологий, а не разрабатывать что-то принципиально новое.

OpenAI скрывала результаты от общественности на протяжении полугода, так как считала их своим основным конкурентным преимуществом, пишет MIT Technology Review. Сотрудникам и стажёрам было дано указание не раскрывать их, а тем, кто уволился, нужно было подписать соглашение о неразглашении.

Только в январе 2020 года команда «без шума» (как OpenAI обычно делает) опубликовала статью в одной из открытых баз данных об исследованиях ИИ. При этом похожая статья со схожими результатами была опубликована другими исследователям несколькими месяцами ранее, отмечает издание.

Такой уровень секретности в лаборатории не был намерением, но стал привычным, так как руководство отошло от первоначальной веры в то, что открытость — лучший способ создать полезный ИИ общего назначения.

Теперь внутри OpenAI важна тишина, например, сотрудникам запрещено общаться с журналистами без разрешения группы по связям с общественностью, а за скрытность хвалят.

Журналистка MIT Technology Review после нескольких разговоров с сотрудниками получила письмо от начальника отдела по связям с общественностью, в котором было указано, что все запросы должны проходить через него, а сотрудники должны были информировать о разговоре и его темах.

В ответ на обвинения MIT Technology Review в повышенной секретности представитель OpenAI сослался на устав, использовав трактовку о «сокращении публикаций из-за возможных проблем с безопасностью». Он объяснил, что каждая публикация OpenAI проходит через проверку на информационные риски, а результаты публикуются с задержкой, чтобы понять потенциальные риски и последствия исследований.

Один из самых больших секретов OpenAI — их новый проект, который, по словам источников MIT Technology Review, станет «кульминацией предыдущих четырех лет исследований».

Это система искусственного интеллекта, обученная на изображениях, тексте и других данных с использованием огромных вычислительных ресурсов. По мнению руководства, это самый перспективный способ достижения AGI.

За развитие OpenAI отвечает директор по исследованиям — бывший сотрудник Google Дарио Амодей. По его словам, стратегия лаборатории делится на две части.

В первой части лаборатория изучает, как можно расширить возможности ИИ — он называет её «инвестиционным портфелем».

OpenAI выделяет деньги командам для изучения разных направлений развития: например, языковая команда проверяет теорию, по которой ИИ может лучше понимать мир через изучение языков. Команда робототехники, напротив, считает, что для развития ИИ нужно физическое воплощение, и проверяет гипотезу.

Как и в портфеле инвестора, каждое направление имеет свой вес, но в целях научной строгости любую теорию нужно тщательно проверить, прежде чем отказаться от неё. Например, несмотря на первоначальный скепсис о GPT-2 с генерируемыми реалистичными текстами, это направление может считаться многообещающим.

По мере того, как будет меняться приоритет направлений, в перспективные будет направлено больше инвестиций и сотрудников, а оставшиеся будут пересекаться и объединяться. Конечная цель эксперимента — по мере объединения команд создать единое техническое направление для создания AGI, и этот процесс уже начался в последнем секретном проекте OpenAI.

Вторая часть стратегии посвящена тому, как обезопасить постоянно развивающийся ИИ. Это включает в себя отражение в ИИ человеческих ценностей, объяснение логики своих решений и возможность обучаться, не причиняя вред людям в процессе принятия решений.

Для каждой цели есть отдельная команда разработчиков методов, которые можно будет интегрировать в проекты по мере их развития. Например, объяснение логики решений может быть использовано для раскрытия способов формулировки предложений в GPT-2 или движений робота.

Амодей признает, что часть стратегии бессистемна и построена больше не на теориях, а на интуитивных предположениях.

Ещё одна проблема — неясно, как компания планирует «распределять ценности AGI всему человечеству», основную миссию, которую цитирует Брокман. В основном руководство лаборатории говорит в обтекаемых терминах и предпринимает мало конкретных действий.

В январе 2020 года Институт будущего человечества в Оксфордском университете опубликовал совместный с OpenAI доклад, в котором предлагалось распределять «ценности» через распределение части прибыли.

Но при этом авторы ссылались на «существенные нерешенные вопросы, касающиеся того, как это будет реализовано». Для некоторых бывших сотрудников недосказанность стала самой большой проблемой OpenAI.

«OpenAI использует сложные технические приёмы, чтобы заявить о решении социальных проблем, связанных с ИИ, но у неё нет возможности понять их. OpenAI считает, что это выгодное место для своего позиционирования», — говорит представитель Ратгерского университета Бритт Пэрис.

Брокман согласен, что для выполнения миссии OpenAI потребуются как техническая, так и социальная экспертизы. Но он не согласен, что социальные вопросы должны решаться с самого начала: «Сначала нужно понять, как будет выглядеть AGI, а затем настанет время убедиться, что мы понимаем последствия».

В разговоре с сотрудниками о стратегии на 2020 год Альтман ясно дал понять: OpenAI нужно зарабатывать деньги, чтобы заниматься исследованиями, а не наоборот. По словам руководства лаборатории, это трудный и необходимый компромисс, на который пришлось пойти из-за отсутствия богатых инвесторов-филантропов.

Но на компромисс пришлось пойти не только потому что у OpenAI не хватает денег, но и из-за своих амбиций. OpenAI сделала стратегический выбор создать дружелюбный ИИ общего назначения раньше других, и из-за этого усилилось давление коммерциализации, считает MIT Technology Review.

Давление заставляет принимать решения, которые всё дальше и дальше отодвигают компанию от первоначального замысла.

Она склоняется к шумихе, чтобы привлечь инвестиции и таланты, защищает свои исследования в надежде сохранить превосходство и выбрала сложную стратегию по наращиванию вычислительной мощности — не потому что считает её единственно верной, а потому что она кажется самой быстрой на пути к цели.

Тем не менее в OpenAI по-прежнему занимаются передовыми исследованиями талантливые учёные, мечтающие работать на благо человечества. У неё есть самые важные компоненты и ещё есть время измениться, заключает MIT Technology Review.

Илон Маск вышел из совета директоров OpenAI в феврале 2018 года из-за возможного конфликта интересов с Tesla, использующей машинное обучение для создания автопилота.

Он прокомментировал материал MIT Technology Review в Twitter и заявил, что теперь не имеет контроля в компании, а его понимание действий руководства ограничено. Маск отметил, что любой разработчик искусственного интеллекта, включая Tesla, должен находиться под внешним контролем.

Маск согласился с опасениями о смене направления и принципов OpenAI. По его словам, компания должна быть более открытой, а доверие к директору по исследованием Дарио Амодею у него невелико, когда речь идёт о создании безопасного ИИ.

#искусственныйинтеллект #маск #openai