Роман Величкин
Это был пример проблемы, когда LLM-ка сама не может оценить - может она решить проблему или нет, и исходя из этого подобрать решение.
Достаточно один раз собрать нормальный датасет
Тут сложность в том, что считать "нормальным" датасетом. Бывают задачи, которые сложно сформулировать и, соответственно, сложно собрать датасет. Кроме того, если это новая область, вы не можете однозначно предугадать, какую информацию будет извлекать нейросеть из этого датасета.
Классический пример: обучали нейросеть отличать кошек от собак, ожидали, что нейросеть будет смотреть на биологические признаки и отличать животных на их основе. А на деле оказалось, что собак чаще фотографируют на улице, и наличие неба стало тем признаком, который выучила нейросеть, и на основании которого делала предсказания.
Другой классический пример: давно идут попытки научить нейросети играть в компьютерные игры. Стандартный бенчмарк для этого - нейросеть должна добыть алмаз в игре Minecraft. Это подразумевает долгосрочную добычу ресурсов, их переработку, строительство и защиту базы, чтобы в конце концов получить кирку, которой можно копать алмазы, и наконец выкопать их.
Есть сложные комплексы из нескольких нейросетей, которые наконец справились с добычей алмаза, но их эффективность и скорость далека от человеческой. И это несмотря на неограниченное количество опыта, который можно передать: миллионы часов видео, книги текста с подробным описанием, исходный код игры и т.д.
Так что, это на словах просто: собрать датасет и обучить, на практике за этими словами скрываются сложные процессы.
LLM всегда обучены на вчерашних данных.
За примером далеко ходить не надо. Поставил либу, она не пашет. Спрашиваю у LLM - почему? Предложила правки, они не работают.
Зашёл в репу либы, там пишут - ставьте предыдущую версию, эта не работает, разрабы выкатили бажную версию. Могла ли LLM дать мне совет поставить прошлую версию? Нет, потому что у нее нет адекватного понимания собственных ограничений. Надо чтобы она могла понять, что у нее нет такой инфы, и что ее надо искать.
Сбор качественного датасета - ключевая проблема любой нейросети. Тут, как говорится, с датесетом любой дурак сможет.
Ну нет, это уже фантастика. Обучение нейросетей - это подбор весов (или функции), которые быстрее всего дают наилучший результат. Если обучать нейросеть считать 2+2, то самым простым вариантом для решения этой задачи (а именно - подбор соответствующей функции) будет запомнить ответ - 4, а не обучаться всей арифметике.
Здесь точно также - задача сформулирована таким образом, что функция для обмана людей оказывается проще чем функция программирования, которой ее хотели обучить. По факту нейросеть обучали получать высокие оценки за программирование, а их можно получить разными способами. И нейросеть, соответственно, обучается первой функции, а не второй. ML-инженеры нужны как раз для решения подобных проблем.
Это обычное поведение нейросетей, любых даже самых примитивных - они обучаются идти по самому простому пути, в силу особенности принципа подбора весов, на котором все работает.
Учили отличать кошек от собак - оказалось нейросеть не выделяла признаки животных, а заметила, что кошек фотографируют дома, а собак на улице. Есть небо - значит на фото собака, нет неба - значит кошка.
Так что тут скорее ожидаемое поведение, поэтому Антропик и проводит все эти исследования.
Так и продолжительность жизни у животных увеличилась. Если в естественных условиях те же кошки мучаются от почек, то домашние - их возят по врачам, подбирают специальный корм, и они живут дольше за счет этого.
как перевести "кэшбек" - возврат средств?
В статье ничего нет про Nvidia Spark со 128 Гб видеопамяти на борту.
Зачем, если я просто загуглил ошибку и мне первой строкой вылез соответствующий issue из репозитория?
К тому же последняя версия и была актуальной, просто не была рабочей. LLM-ке точно также пришлось бы шарится по гуглу искать ответ (если бы она знала, что она не знает ответа на мой вопрос и его надо гуглить).