Некоторые идеи MedPrompt

Я привлеку сначала помощь Нейрухи - люблю ее простой и точный язык. А потом дополню ее рассуждения.
Нейруха, что скажешь?

О, щас разберёмся! Это график, явно взятый из научной статьи на сайте Microsoft Research. Вижу тест MedQA. Чем дальше вправо, тем у ИИ лучше дела, как будто он от "двоечника" превращается в "отличника" или "чемпиона"
Статья рассказывает о том, что GPT-4, являясь универсальное моделью может стать лучше модели, специально заточенной под медицину.
Это как если бы ты взял обычного "гения" с улицы, дал ему книгу по медицине, и он вдруг стал лучше хирурга с 20-летним опытом.
В статье говорится, что GPT-4 с помощью системы подсказок (они их называют Medprompt) достигает более 90% точности на медицинском датасете MedQA. .
Видишь эти столбики? Это как тесты мозгового штурма ИИ в разных костюмах.

Zero-shot – это нуб, который только вступил в игру. Ничего не знает, но уже лупит с 80% точностью, как пьяный охотник уток или как одаренный студент на экзамене, который читал конспекты на перерыве. Примерно такой уровень точности был на заре развития GPT, когда ИИ впервые получил "магистерский диплом".

Random few-shot, chain-of-thought – здесь ИИ словно купил несколько прошлогодних экзаменационных билетов с ответами. Напрягся... и хоп – угадал ответ на новый билет! Ещё и добавил сюда "цепочку мысли", как бы объясняя свою удачу логическими выкладками.

Переходим к kNN few-shot, chain-of-thought – а это уже круче. ИИ собрал себе "бойцовский клуб" и сказал каждому в своей организации работать - ходить по городу и собрать "все, что видите по теме", а после выбрал около 5 "крутышей" ... и в бой... за правильный ответ. Каждый ответ медленно процеживается сквозь сито блестящих рассуждений....

И вот, наконец, Ensemble with choice shuffle – это целый совет Джедаев в голове у ИИ. Они все что-то предлагают, а ИИ, как сам мастер Йода выбирает лучшее и выдаёт как финальное шоу на сцене. И тут он впервые переваливает за 90% точности ... Это как если бы ИИ стал вроде доктора Хауса, только без викариев и сарказма.

Спасибо, Нейруха!

Это снова я, Филипп.

Давайте рассмотрим как происходит "обогащение". Что можно взять из опыта технологии MedPrompt, чтобы свои промты сделать лучше?
А моя технология циклической оптимизации запросов ZZ.Tunnel, как оказалась прекрасно дополняет MedPrompt - как масло бутерброд.

О ней речь еще пойдет позже.

А пока давайте разберем кирпичи.

Расскажи, что ты умеешь?

MedPrompt:

1. Анализ Релевантности

Я могу сравнивать ваши данные с предоставленными контекстуальными примерами, чтобы найти применимые принципы или правила.

2. Цепочка Рассуждений

Я использую подробное рассуждение для анализа, как каждая точка данных соотносится или отличается от контекстуальных примеров. Это включает в себя исследование основных принципов, возможных последствий и логических выводов.

3. Рассмотрение Различных Исходов

Я могу оценить несколько потенциальных исходов, опираясь на процесс рассуждения, и определить вероятность каждого из них

4. Оценка с Перемешиванием Возможных Исходов

Я могу оценить уровень уверенности в каждом возможном исходе, перемешивая и переоценивая их

5. Итеративное Уточнение

Если необходимо, я могу уточнить свои рассуждения и переоценить потенциальные исходы.

6. Окончательное Решение и Обоснование

Я выбираю наиболее вероятный исход и подробно объясняю свой выбор, показывая, как он соотносится с процессом рассуждения и данными.

MedPrompt, сделай пример исходных данных и контекстуальных примеров

Medprompt:

Конечно, вот пример того, как могут выглядеть "Исходных данных" и "Контекстных примеров" в рамках всей технологии.
Data Points:
[Data Point 1]: Уровень сахара в крови пациента утром - 8.2 ммоль/л.
[Data Point 2]: Пациент пропустил свою вечернюю дозу метформина вчера.
[Data Point 3]: Пациент обычно занимается легкими упражнениями утром.
[Data Point 4]: Пациент сообщает о повышенной усталости за последние два дня.

Contextual Examples for Dynamic K-Shot Learning:
Example A: У пациента с диабетом 2 типа, который регулярно принимает метформин и занимается физическими упражнениями, уровень сахара в крови обычно остается в пределах целевого диапазона.
Example B: Пропуск дозы метформина может привести к временному повышению уровня сахара в крови.
Example C: Повышенная усталость может быть симптомом как гипергликемии, так и гипогликемии, а также других состояний.

Задача:
Relevance Analysis: Сравните каждую точку данных с контекстными примерами, определите применимые принципы или правила.
Chain of Thought Reasoning: Используйте логические рассуждения для анализа, как каждая точка данных соотносится или отличается от контекстных примеров.
Outcome Consideration: Рассмотрите потенциальные исходы, такие как необходимость корректировки лекарственной терапии или изменения в образе жизни пациента.
Choice-Shuffled Ensemble Evaluation: Оцените возможные исходы, учитывая вероятность каждого из них исходя из данных и контекста.
Iterative Refinement: При необходимости уточните рассуждения и пересмотрите потенциальные исходы.
Final Decision and Justification: Выберите наиболее вероятный исход и обоснуйте его, основываясь на логических рассуждениях и предоставленных данных.