Давид
А сейчас объясните это 50+ руководителю, который чтобы зайти на свой сайт набирает его адрес в яндексе
Осталось найти того, кто рискнет это запустить с моей помощью :-)
Но я все равно пока не могу понять как именно rag в контексте разработки интегрируется. Если в компании своя кодовая база и фреймворки, то наверно тут перенос их в векторную базу имеет смысл, чтобы код писался по стандартам компании. Клод же и без rag напишет код с лучшими подходами, он был на это обучен, главное инструкции дать правильные. Вообще уменьшение времени понятие относительное - если задача не день, а полдня занимает, это не так много. Это имеет смысл только тогда, когда у тебя поток задач в 24 часа не влазит. Я скорее рассматриваю перспективу так, чтобы один человек мог целую студию заменить - и дизайнера и верстака и разраба. И чтобы ты один раз сформулировал задачу, и система сама все тебе построила. Пока такого еще нет, особенно в дизайне.
Я это и имел в виду - лучше один раз систему построить под реальную задачу, чем 10 туториалов собрать. Но пока еще не было таких задач
Вообще, если честно, я до сих пор не могу представить как свой RAG реализовать для разработки вместо чата с клод код, хотя это в Claude уже реализовано. С одной стороны интересно, но с другой, без реального проекта вряд ли поймешь, как оно работает.
Я проводил эксперимент, где резал питон-код по лимиту с нахлестом и через ast + строил бота для телеги, в котором faq был по вопросам и ответам от админов. На коде у меня до реранка точность была на уровне 40-50% на корпусе из 2000 файлов и это было с натяжкой нормой. Но я тогда только начинал, поэтому может делал не совсем хорошо руками. Вообще к синтетике я отношусь подозрительно, хотя руками еще больше ненавижу делать :-) Не ставлю под сомнение, я относительно недавно в RAG/LLM и всякие боевые результаты для меня интересней туториальных, но по своему опыту, такая точность меня лично настораживает. Может потому что клод меня когда учил это постоянно твердил :-)
Когда плаванием занимался, там был девайс время и круги считать на палец с кнопкой - очень удобная штука
Если честно, я бы с таким hit задумался, не врет ли ваша RAG. Не потому что я такой въедливый, а просто в RAG когда очень хорошо на синтетике, это повод перепроверить. Я конечно в слепой зоне как вы чанки делали и как вопросы генерировали, но обычно когда на паре "сгенерируй вопрос под этот ответ" llm всегда подгоняет результаты, поэтому обычно и пишут руками. Я с этим стакивался, когда тесты ставил для построения эксперимента для python кода. У вас получается, что на полусинтетических чанках (добавление описания клодом) + полусинтетическом датасете (сгенерированным клодом по перепискам) у вас из 100 вопросов в 94 случаях ответ на 1 месте. В реальных данных мне кажется порог такой без реранкера (да иногда и с реранкером) крайне маловероятен. Но если система работает и устраивает, вероятно пока что то крутить не имеет смысла.
Вроде разметку датасета проверочного обычно руками делают, мне клод сам сказал, что он это сделает плохо. Там куча времени на это уходит, но все говорят, что это реально одна из важнейших частей eval-части
Сижу под голландским впн, номер покупался голландский, биллинг американский, захожу через русский gmail c регистрацией в UK, плачу подарочными визами купленными за крипту, каждый раз новой картой. Читаю данный высер и не понимаю зачем