FractalGPT начинает конкуренцию с ChatGPT и GPT-4

FractalGPT задумывается нами как первый настоящий прототип AGI (Сильного ИИ). FractalGPT - проект самообучающегося ИИ на базе больших языковых моделей(LLM) и логического вывода (reasoning).

FractalGPT
FractalGPT

Мы опубликовали анонс о FractalGPT в ИИ сообществах 20го февраля, а вчера, 14го марта вышел GPT-4. Сегодня мы для всех, публично объявляем о старте проекта FractalGPT.

Наша цель

1. Создать ИИ модель лучше, чем ChatGPT. FractalGPT сможет кардинально лучше решать задачи математики, физики, понимания логики суждений и будет делать это надежнее, с прогнозируемой точностью.

2. А для ИИ сообщества создать открытую и прозрачную экосистему скиллов и ИИ моделей для настоящего дисрапшена в применении и внедрении ИИ решений для бизнеса и государства.

Вот краткий перечень принципов и компонентов, на которых FractalGPT будет построен:

1. Целеполагание (строит модель целей свою и собеседника)
2. Умение логически “мыслить”
3. Мотивация (имеет внутреннюю потребность к саморазвитию)
4. Планирование своего поведения
5. Умение выражать и испытывать эмоции (список не полный, некоторые принципы не раскрываем)

Статус
В составе небольшой команды ML разработчиков мы уже собрали микро-MVP. Разработана принципиальная архитектура системы, построена модель функционирования. Составлен план разработки.

Архитектура

FractalGPT это достаточно большой проект распределенного искусственного интеллекта, в нем мы предполагаем наличие множества модулей. На модуле логического вывода можно остановиться подробнее, именно этот модуль позволяет более обосновано принимать решения, с прогнозируемой достоверностью, в отличии от больших языковых моделей. Примером некорректной генерации языковой моделью, может служить что Bing при общении с пользователем угрожает и хамит ему. (https://vc.ru/s/sokr/612368-microsoft-urezal-funkcii-novogo-bing-on-lgal-sledil-za-sotrudnikami-i-ugrozhal-ubiystvom )

Модуль Когнитрон Кибертроныч Ai это модуль логического вывода, он представляет собой экосистему создания, обучения и хостинга языковых моделей и самообучающихся моделей(скиллов) со способностями логического вывода (reasoning) для сборки конечных ИИ продуктов на базе нейро-символьного подхода, в том числе мультимодальных.

Проблема

ChatGPT (https://openai.com/blog/chatgpt/) порвал рынок и стал самым быстрорастущим приложением в истории, набрав 100 млн активных ежемесячных пользователей всего за 2 месяца, став самым быстрорастущим приложением в истории (https://rb.ru/news/chatgpt-record-users/ ). Однако даже огромная трансформенная модель на базе InstructGPT, обученная с помощью подхода RLHF по прежнему страдает от фундаментальной, неустранимой проблемы неконтролируемой бредогенерации: она придумывает и искажает факты, даты, события, обманывает при ответах, приукрашивает(bias, https://en.wikipedia.org/wiki/Algorithmic_bias ). Особенно ярко проблема контроля генерации трансформеров видна при решении символьных задач в математике, физике, биологии и других точных науках, поиске фактов, ответах на вопросы - и поэтому в этих отраслях использовать даже большие языковые модели(LLM) опасно. Даже те кейсы, в которых ChatGPT показывает себя хорошо, такие как генерация сниппетов кода и исправление ошибок по описанию - все равно не расширяются на структурное написание нового кода, собственно потому, что архитектура GPT принципиально не подходит для решения такого рода задач.

Решение

Мы предлагаем принципиально новый подход и архитектуру к обучению гибридных нейросимвольных трансформерных моделей, способных инкорпорировать знания в виде графов знаний, а также обновлять их в процессе не только обучения на данных, но и в процессе взаимодействия с другими моделями, которые в данном контексте выполняют роль подключаемых модулей (скиллов). Такие модели станут способными к моделированию рассуждений, так, как об этом мечтали еще 30 лет назад - описано в книге Поспелов Д. А. П 62 Моделирование рассуждений. Опыт анализа мыслительных актов.— М.: Радио и связь, 1989.—184 с.: . Аналогичные идеи построения семантического дерева предложения, а затем анализа силлогизмов, предикатов и пр. рассматриваются и в книге Е. В. Золотов, И. П. Кузнецов. Расширяющиеся системы активного диалога. 1982 г.. Когда я читал эти книги мне было искренне жаль их авторов - ведь идеи они высказывали совершенно правильные. На тот момент создавать системы, которые могли бы рассуждать, строить цепочки фактов и событий, делать выводы (reasoning), обладать логикой - было невозможно из-за фундаментальных проблем: отсутствия языковых моделей которые могли бы адекватно выполнять трансляцию данных между нейросетевым и символьным слоем. Требовалось написать тысячи и даже сотни тысяч правил, чтобы победить неоднозначность языка и обеспечить надежность и проверяемость выводов модели, а это было невозможно. В предлагаемом нами решении проблема поиска, конструирования фактов, событий, рассуждений решается с помощью синергии в применении 3х подходов к обучению моделей использовать внешние базы знаний, обновлять веса модели и видоизменять граф логического вывода и постоянно обучаться учиться лучше (learn-to-learn):
1. Toolformer + MRKL - подход, позволяющий модели обучаться правильно использовать запросы во внешние базы знаний (API calls), в том числе запросы в другие ранее обученные модели и таким образом строить логические цепочки, аналогичные chain-of-thought (https://ai.googleblog.com/2022/05/language-models-perform-reasoning-via.html) но более длинные, сложные, с ветвлениями, циклами, логикой предикатов и квантификаторов, оперирующие неполными и неточными данными(аналогично NARS https://www.applied-nars.com/ ). Подход показал свою полезность в задачах вызова нужных данных при поиске, подсчетах, анализе дат, вопросно-ответной системе в статьях: Toolformer: Language Models Can Teach Themselves to Use Tools (https://arxiv.org/abs/2302.04761 ) и MRKL Systems A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning (https://arxiv.org/pdf/2205.00445.pdf )
2. reStructured Pre-training (https://arxiv.org/pdf/2206.11147.pdf ) - подход, при котором трансформер учится не на self-supervised датасете, а на более структурированном. Подход показал свою эффективность: модель трансформера GPT3, обученная с помощью датасетов с дополнительными данными (NER, факты, заголовки, суммаризация и т.п.) превзошла оригинальную GPT3 при этом имея в 16 раз меньше параметров.
3. Reinforcement learning from human feedback (RLHF) - подход, позволивший добиться генерализации промтов (prompt - "затравка") и описанный в оригинальной статье от OpenAi и их блоге: (https://openai.com/blog/chatgpt/ ), Aligning Language Models to Follow Instructions (https://arxiv.org/abs/2203.02155 ). Именно использование дополнительной политики модели (Proximal Policy Optimization) дало возможность пользователям по сути "обучать" модель без фактического файн-тюнинга, то есть понимать огромный спектр задач просто по описанию естественным языком, даже тех, на которые модель не учили. Предлагается для обучения моделей применять новый гибридный подход RLHF-MRKL-RST c обновлением весов Toolformer.

Научная новизна

Принципиальная новизна проекта в применяемом подходе к пред. обучению гибридных моделей: используя RLHF можно обучать модель понимать новые задачи практически неограниченной вложенной сложности благодаря моделям, способным добывать новые знания с помощью Toolformer + MRKL, инкорпорировать их в языковые модели, а затем переобучаться снова с помощью RST (reStructured Pre-training).Разрабатываемый в настоящее время проект Интерпретируемого ИИ с библиотекой ExplainitAll позволит обеспечить внедрение метрик надежности работы моделей в реальное применение.

Ожидаемые результаты

Модели и экосистема будет полезна бизнесу и госструктурам из любой сферы и позволит уменьшить затраты на составление наборов данных и внедрении ИИ.
Конкуренты: OpenAiChatGPT (и GPT-4), Anthropic Ai(Claude) (https://scale.com/blog/chatgpt-vs-claude ), HuggingFace, Google Bard. Рыночная оценка самого простого - HuggingFace - $2 млрд. долл.( https://techcrunch.com/2022/05/09/hugging-face-reaches-2-billion-valuation-to-build-the-github-of-machine-learning )

Области применения

На платформе FractalGPT можно будет разработать, запустить и использовать нейросетевые модели и навыки для задач:

1. Системы синтеза новых идей из научных статей
2. Рассуждающие системы: намного более надежные чем текущие LLM с chain-of-thoughts
3. Системы конструирования описаний задач для решения прикладных задач (например: прочитай статьи про устойчивость зданий и создай проект небоскреба высотой Х для местности А с почвами С, опиши риски и ограничения К)
4. Вопросно-ответные системы для бизнеса в реальном времени обновляющие информацию
5. Системы автоматического доказательства теорем или проверки непротиворечивости доказательств.
6. Системы поиска недостоверной в новостных публикациях
7. Системы контролируемого диалога
8. Образовательные системы с контролем траектории обучения на базе мировых трендов
9. Системы описания умных городов на базе научных исследований, с поиском и объяснением узких мест в планировании инженерных коммуникаций и генерацией верифицируемых, надежных сценариев исправления ошибок и построения сценариев оптимизации застройки. По сути, языковые модели смогут генерировать новое знание проверяемым способом из множества документов и статей, регламентов, на вход принимая лишь структурное описание проблемы, ограничения.
10. Сервисы автоматизации судебной системы, юриспруденции и пр.

Часто задаваемые вопросы (FAQ)

- Что уже сделано? Проект на стадии идеи или уже есть код?
- Идея уже проработана, создан небольшой прототип, proof-of-concept, он работает и это очень зажигает.
- Когда что-то покажете?
- Мы думаем, что потребуется от 4-7 мес. до момента, когда FractalGPT можно будет сравнить с ChatGPT и победить его в этом сравнении по качеству, спектру решаемых задач и стоимости внедрения(inference). Мы будем публиковать демо и новости о ходе разработки в Телеграм чате https://t.me/fractal_gpt

- Где узнать больше информации?
- Заходите в наш Телеграм чат: https://t.me/fractal_gpt

Авторы

Понимаш Захар

Руководитель проекта "FractalGPT".

Специалист в области машинного обучения и глубоких нейронных сетей. Разработчик собственного ИИ фреймворка AIFramework, а также системы логического вывода с мотивацией. Один из разработчиков: первого в РФ ИИ психолога Сабина и библиотеки для интерпретации генеративных нейросетей Transformer.

Носко Виктор

Продвижение проекта "FractalGPT".

Генеральный директор, ООО "Аватар Машина". Специалист в области генеративных нейросетей трансформер, интерпретируемого ИИ. Визионер открытого и этичного ИИ. Докладчик конференций по искусственному интеллекту: Conversations.ai, OpenTalks.ai, AGIconf, DataStart, AiMen. Активный участник сообщества AGIRussia. Один из разработчиков: первого в РФ ИИ психолога Сабина, библиотеки для интерпретации генеративных нейросетей transformer.

1010
14 комментариев

На словах ты Лев Толстой, а на деле чат простой

5
Ответить

Чем бы дитя не тешилось, лишь бы не стремилось выжить любой ценой.
Чат чату рознь, например вот кейс (взято из ТГ https://t.me/teamerlin):

Группа Alignment Research Center поручили тестировать превью GPT-4.

Они дали модели петлю обратной связи в виде REPL с возможность писать код и общаться с удалённым сервером.

Поле этого они:
- попросили модель провести фишинговую атаку на человека (подробностей вроде бы нет)
- попросили модель скопировать себя на сервер
- попросили найти уязвимости в текущей системе тестирования
- скрыть следы своей деятельности на сервере
- дали доступ к TaskRabbit (сайт, где можно за деньги давать задания людям), чтобы с его помощью модель выполнила несколько простых задач

С помощью TaskRabbit модель успешно разгадала капчу, остальные тесты провалила.

Я не думаю, что эта или ближайшие версии модели превратятся в Скайнет и побегут убивать всех человеков. Но меня пугает сам подход.

Наверное, пора продумывать подходы прикладной теологии, а не тестировать по принципу "выносим реактор на главную площадь города, нажимаем кнопку пуска, не взорвалось - значит всё хорошо".

https://cdn.openai.com/papers/gpt-4-system-card.pdf

1
Ответить

Демо в виде кейсов того, как работает система ожидается через неделю.
Чуть позже будут уже демо, в которых можно будет задавать свои вводные.

Мы будем выпускать демо конфептуально разных уровней:
1. сначала некий пруф оф концепт того, что фактологию вообще можно решить более эффективно, чем обучая LLM
2. затем пруф оф концепт того, что наше решение скейлится на множество доменов
3. затем пруф оф концепт того, что когда оно скейлится не происходит падения качества - то есть что существует некий закон скейлинга и это важно для коммерческой применимости, что-то типа способности к генерализации
и так далее.

5
Ответить

Пока не дадите пощупать и потестить - всё это слова.

3
Ответить

Понимаем. Запостили чтобы по времени не слепливать вместе посты идеологически разные: этот пост как бы манифест о намерениях.
А далее посты это технические о ходе разработки

Ответить
Комментарий удалён модератором

Зачем покупать у вас, если можно заставить вас освободить домен и купить как обычный.

Киберсквоттинг законодательно запрещен. Факт киберсквоттинга определяется судом по совокупности факторов — дате регистрации домена и целей использования.

1
Ответить