Вышло 3-е демо FractalGPT с мультимодальностью и маршрутизацией ИИ агентов
Сегодня публикуем уже 3-е демо FractalGPT. В этом демо мы показали 2 ключевые особенности системы: мультимодальность при анализе и обсуждении медицинских снимков и слаженную работу агентов по правильной маршрутизации задачи.
Демо интересно сразу из-за трех свойств:
а) Это первое демо, которое мы дадим попробовать пользователям - вы сможете загрузить в него свои картинки, мемы или медицинские снимки и получить ответ.(Мы выберем нескольких участников нашего чата и дадим доступ к боту на ограниченное время, по очереди, т.к. сейчас ядро системы поддерживает работу только с одним пользователем)
б) Это первое демо, которое даже отдаленно нельзя повторить или собрать на ChatGPT, и это явно видно
в) Медицинское применение
Дисклеймер.
Снимки, использованные в этом демо получены из открытых источников (с сайта http://medicaldecathlon.com/ ). Также нами получено разрешение на использование ПО для анализа медицинских снимков в роли медицинского агента, который был встроен в систему на время демонстрации продукта FractalGPT.
Рис. 1. Кейс анализа медицинских снимков: агент FractalGPT дает разные ответы в случае, когда вероятность обнаружить рак высокая и низкая
На рисунке 1 показана основная схема ответа: система дает детальный ответ по вероятности обнаружить на снимке рак поджелудочной. При этом важно, что информация (названия показателей и их значения) от агента на рисунке 2, поступившая в LLM для генерации ответа не исказилась - эффекта галлюцинации нет.
В случае, если пользователь задает неполный вопрос, в примере “Тут есть рак поджелудочной” - агент отвечает на этот конкретный вопрос. Пользователь далее может уточнить детали, и система поймет его, учитывая контекст разговора и предоставляя детали (вероятность и размер), рисунок 5.
В следующем примере ведется разговор о математических терминах, а затем пользователь отправляет FractalGPT картинку из интернета: изображение схемы клетки, на котором есть подписи к различным ее частям (жгутики, мембрана и тп.). Пользователь просит рассказать об изображении подробнее и получает ответ.
Рис. 7 и 8. Агент дает правильные ответы по мультимодальной картинке. Если на изображение не является медицинским снимком Агент не будет отвечать и анализировать его, а скажет, что не знает.
Рис. 10 и 11. Мультимодальность работает даже для мозга Гомера Симпсона (персонаж мультфильма The Simpsons) и для запутанной схемы флоу ПО
Будущие адаптации.
В этом демо показана мультимодальность и многоагентность системы, но важно, что система легко и удобно расширяется: 1. Предусмотрено добавление других агентов, решающими другие типы задач
2. Мультимодальность может работать не только для текста и изображений, но и для звука, видео, документов, или даже для их комбинации
3. Система устойчива к росту числа агентов и типов взаимодействий между ними, с ростом числа агентов устойчивость системы возрастает и не происходит накопления ошибок благодаря логическому выводу в модуле Fractal.
О проекте.
Подробнее о проекте можно узнать в нашем Телеграм: https://t.me/fractal_gpt
Наш Гитхаб: https://github.com/FractalGPT/FractalAGI
О нас
Понимаш Захар
Основатель проекта "FractalGPT".
Специалист в области машинного обучения и глубоких нейронных сетей. Разработчик собственного ИИ фреймворка AIFramework, а также системы логического вывода с мотивацией. Один из разработчиков: первого в РФ ИИ психолога Сабина и библиотеки для интерпретации генеративных нейросетей Transformer.
Носко Виктор
Продвижение проекта "FractalGPT".
Генеральный директор, ООО "Аватар Машина". Специалист в области генеративных нейросетей трансформер, интерпретируемого ИИ. Визионер открытого и этичного ИИ. Докладчик конференций по искусственному интеллекту: Conversations.ai, OpenTalks.ai, AGIconf, DataStart, AiMen. Активный участник сообщества AGIRussia. Один из разработчиков: первого в РФ ИИ психолога Сабина, библиотеки для интерпретации генеративных нейросетей transformer
Потанин Марат
C# AI-разработчик проекта "FractalGPT"
Специалист в области машинного обучения
Full Stack C# ASP.NET
Контрибьютор AIFramework. Соавтор программы для анализа медицинских снимков. Интересы: логический вывод, нейронные сети, обработка изображений, векторные базы данных, компьютерное зрение.
Вчера показали Демо в нашем ТГ, юзеры наши адски оригинальны, сразу пошли во все тяжкие) (на фотке с монитора юзер прислал картинку с текстовой шуткой и попросил ее объяснить)
Гитхаб у вас пустой поэтому может вы просто прицепили chatgpt4 или bard
Мы на Гитхабе и не будем выкладывать ядро и код системы в открытый доступ. Часть которая будет открытой - это система ИИ Агентов и их спецификация для разработчиков, API.
Второе: мы НЕ скрываем, что используем LLM для демо (но не раскрываем какую и как), то есть если бы мы где-то заявили что модель наша и она лучше - вот тогда вы бы могли задать такой вопрос и попросить бенчмарки сравнения а чем же лучше.
Важно, что мы показываем НЕ модель а именно маршрутизацию, навигацию между разными агентами, которые могут быть в свою очередь разными моделями - например в этом демо мы также указали, что анализ снимков это сторонний сервис, а наше ноу-хау состоит в том, чтобы задачу, которую нужно делать модель выполняла, а которую не нужно - чтобы перенаправляла на ту модель, которая ее должна выполнять.