Ilya Zelenskiy

Посмотрел его репозиторий, прогнал даже через сетки чтобы восстановить математику. В ней куча противоречий с тем, что автор пишет (как один из примеров, автор много пишет о нерефлексивных пространствах, а код работает с конечномерными массивами. Любое конечномерное нормированное пространство рефлексивно.). Тесты там это вообще тестами назвать сложно, мало того что они ничего не дают, так еще и реализованы криво. А вся суть сводится там к простой формуле с жесткими коэффициентами, которая не будет работать на многих сетках. Там нет ничего о чем автор пишет:
- нет эксперимента, показывающего, что модель становится умнее;
- нет доказательства FP8-компрессии;
- нет уменьшения размера модели;
- нет честного speed benchmark;
- нет воспроизводимого сравнения LLM до/после;
и так еще много пунктов.
Я отдельно воспроизвёл его генератор численно для n=512, там ошибка ортогональности получается порядка 0.54, то даже близка не 0, а его скрипт всё равно напечатает PASSED.
Ну и там дофига еще не состыковок, от просто ошибок кода до математических утверждений.
Даже скорость O(1), в реальности его ядро выполняет O(n^2) арифметических операций на вектор, обработка матриц ещё дороже. Сравнивается обращение матрицы scipy.linalg.inv() на CPU с совершенно другой операцией Qx на GPU - как вообще такое можно сравнивать. Такой speedup ничего не доказывает.
По сути его код делает следующее:
Wnew​=0.976PW+1.000600576(I−P)W.
P тут обыкновенный ортогональный проектор на заранее выбранное синусоидальное подпространство, а (I-P) это проектор на его ортогональное дополнение. Никакой криптографической решётки, CVP/LWE/SIS, дискретной оптимизации, квантования или нового вида нейронной архитектуры здесь нет.
То есть компонент веса W, попавший в фиксированное синусоидальное подпространство, уменьшается примерно на 2.4%, ортогональная компонента увеличивается примерно на 0.06%.
и продолжать можно бесконечно.
...
я уже молчу про то что автор то ли неправильно понял результат работы Asta и работы по квантованию Yandex, потому что там совсем о другом речь.
Что только людям нынче нейронки не на галлюцинируют🤷‍♂️
а потом я посмотрел другие статьи автора и понял...))

Почему в условиях нельзя пользоваться «Внешними библиотеками» и «документацией»? Что не так с документацией? Это же как вернуться к каменному веку и сказать, кто выживет человек или нейронка обученная на куче знаний? абориген выживет) Я к тому, что возможность делать и читать документацию, это часть нашей архитектуры, позволяющей не запоминать детали и хранить обобщение в голове.

Нет нету, это сто раз уже обсуждали и много раз разбиралось. Дело не только в технологиях, там все упирается в совсем другие проблемы, от нагрева, сухости, энергопотребления, долговечности линзы (там жесткий пластик, но даже жесткие линзы меняют, это как выкинуть телефон через несколько месяцев) и так далее. Так что даже если закрыть глаза на технические проблемы, там полно других. Так что проект изначально скам.

Это скам проект

Посмотрел, что делал и чем занимается Ноама Брауна. Обычный ведущий программист. Каких-то выдающихся достижений нет. Как я понимаю, единственное чем он известен это обучение сетки, которая выиграла в шестиместный покер. Хороший AI/ML разработчик, но не более.
Как я понимаю, смысл был не в покере конечно. Дальше он участвовал в проекте, в котором это развили и представили как "Метод глубокого обучения для минимизации контрфактического сожаления" (Deep CFR - Counterfactual Regret Minimization). Это одно из расширений теории игр. Суть была в том, что это перенесли на агентскую сеть. То есть занимался взаимодействием ИИ-агентов.
В целом он всегда работал над теорией игр и стратегическим взаимодействием.
Под взаимодействием ИИ-агентов имеется ввиду не столько внутри агентов OpenAI, сколько предотвращающие вредное поведение со стороны пользователей и LLM.
Хотя его работа скорей не про AI/ML, а про взаимодействие ИИ и людей. Сейчас с учетом роста мультагентных систем это конечно оправдано. Но вот сравнивать его и отдельно выделять, вряд ли имеет смысл.

Надо признать, что последнее время есть ухудшение качества у всех сеток. От ChatGPT до всяких Qwen.
Сегодня впервые такое вышло. Через Qwen уточнял формулу, и описал как надо считать. Он выдал ответ. Затем я просто спросил "С чем ты не согласен?" (больше ничего), вдруг упустил что-то из математики. Обычно если возразить нечего, сетки высасывают из пальца объяснение и ты его игнорируешь.
А тут впервые выдал такую бредятину)
С ChatGPT тоже тупости хватает, но другого плана. Но сетки реально, начинают деградировать по качеству. Или просто может просто я стал слишком скептично к ним относиться. Но ошибок очень много допускают, раньше мне кажется их было меньше.

Часто выдают информацию не отвечая на поставленный вопрос. Типа где живут пингвины.. а тебе, пингвины это.. (условно).
Математически, сетки имеют предел. Они не могут бесконечно улучшаться на данных. Математически получается, что если скармливать больше данных, то сетка начинает ухудшаться в распознании деталей. Если меньше данных, то меньше знает. Поэтому невозможно обучить сеть всему. Она деградирует. И это не потому что так хочется, это математически выводиться из закона Лагранжа.

Некоторые считаю, что если кофе стоит 400 руб, то это уже оплаченное раб место на весь день. В кафе Скуратов в Москве удаленщики с ноутбуком сидят там похоже весь день? Специально пока сидел, смотрел - кофе уже у них выпито давно (ни один не берет кофе повторно). Наблюдал картину, как спят за ноутом чтобы не уходить, потом оставляют его и идут покурить на улицу или прогуляться. И под посетителей остается несколько мест у туалета, стоки и еще парочка. все остальное битком ими.
Другой пример Мама варит кофе, там вторая комната под коворкинг. Нет же, сидят в первой забив все, так как там мягкие кресла и вид на улицу.
Поэтому тут вариантов немного:
- идешь в коворкинг в Москве он по-моему от 700-900 руб в день
- работаешь дома
- работаешь из офиса (у некоторых крупных компаний есть свои зоны коворкинга, не обязательно сидеть в офисном кабинете)
- не занимаешь все места, сидя с одним кофе по 6-8 часов
Я прихожу в кафе отдохнуть, сменить обстановку, попить кофе, подумать. И тут эти сидят с утра уже и до позднего вечера.
Все эти сказки о том, что удалещики сидят в кафе и тратятся как за коворинг - чушь полная. Несколько раз наблюдал за ним, пока ел и пил несколько часов. Ни один из них ни чего не докупил, у кого то вообще уже чашек даже за столом нет. Поэтому единственная причина, почему идут в кафе - халявное рабочее место с приятным интерьером. Все остальные отмазки - наглое вранье. Иначе человек покупал бы периодически.
В целом в кафе надо вводить лимит хотя бы. Чтобы человек делал хотя бы один заказ в течении двух часов либо сразу на какую-то сумму. Посмотрю, сколько после этого останется реально тех, кто "да я оставляю так денег как за коворинг". Пиз..ят как дышат.

https://t.me/greenruff/2097
Это возможно, но не так просто. Описывал это. Но вроде в статье хотя делать иначе.

LLM называть ИИ - это не шизофрения. 🤷‍♂️
Верить, что LLM себя осознает- это не шизофрения. 🤷‍♂️
Верить, что уже "скоро" LLM заменит всех - это не шизофрения. 🤷‍♂️

Но, если кому-то LLM отвечает, что он мессия (то что он хочет услышать на основе прогнозирования продолжения наиболее вероятных токенов) - это шизофрения. 🤯

Раз человек что-то спрашивает, то получает в ответ то что "наиболее вероятно" хочет услышать.

Где заканчивается первая граница шизофрении и начинается не шизофрения? 🤔Для меня что первые. что вторые

Последнее время ChatGPT сильно упал в качестве.
1) сбои с анализом файлов, закидываешь PDF и просишь обобщить его. А он каждый раз придумает какую то другую статью, а не ту что в pdf (хотя она текстом в нем)
2) рассуждающая модель, очень тупая стала или из за глюков не знаю. Она при ответе теряет контекст вопроса и видимо обращается к "памяти", а не прошлому сообщению в качестве контекста. Поэтому ответ превращается в бесполезный. Кроме того, рассуждения ещё сильнее отдаляют ее от контекста прошлого сообщения. Приходиться откатывать к прошлым сообщениям и перегенерировать без рассуждений
3) качество кода стало хуже. Она и раньше не могла удержать даже один модуль кода, а теперь даже часть кода без подробной подсказки просто ломает и не понимает.
4) память описанная выше это вообще головная боль и сделана через Ж.. Потому что из за нее часто обращает внимание не на последние сообщения, а те что "запомнила" при режиме рассуждений.

Это не значит что LLM бесполезны. Пользуюсь как инструментом и chatgpt, deepseek, cloude и другими. Все имеют свои проблемы. Я бы называл их новым видом поиска по информации, способном обобщать огромный массив данных, выделяя из него важные признаки в рамках заданного контекста и прогнозирующий продолжение контекста.