Евгений Трифонов
Вот и выросло поколение, которое принимает нормальную типографику за LLM
Не знаю, зачем отвечаю тут на бессмысленный комментарий, но если вдруг кто-то осмысленно хочет понять «что ценного в LMArena и почему в неё вкладываются»:
— Нейросети стали очень важны, но они несовершенны, и важно использовать модель получше. А при этом сложно числами оценить их качество и сказать «так какая лучше». Скажем, Anthropic и OpenAI выпустили по новой модели, обе пишут «У нас прорыв!!» А как понять, где реально прорыв? Чем пользоваться? За что доплачивать?
— Вроде для этого придумали бенчмарки: меряют числами, можно сравнить. Но компании занимаются бенчмаксингом, тюня модели специально под них, и в итоге сложно по бенчмаркам понять «а в жизни-то что получу»
— И тут на арене появляется LMArena: сервис, где пользователи оценивают ответы моделей, не зная «где чей». Получается сколько-то беспристрастное сравнение, причём не на заданном сете бенчмарков, а на непредсказуемых жизненных пользовательских запросах.
— В итоге LMArena даёт хоть какую-то информацию по очень ценному в наше время вопросу. Она всё равно несовершенна, конечно. Но говорить «сервис просто составляет списки того, что и так известно» — это значит вообще не понимать, о чём речь.
Хммм, думал примеров из интернета набрать, а там по умолчанию сложно сказать достоверно про отсутствие фильтров
Но подумаю позже в сторону raw или собственных фотографий
Им должно быть несколько лет
Давайте проведём тут слепой тест, где вы попытаетесь отличить сгенерированные от настоящих?
А если бы с вашим ребёнком сделали, тоже порофлили бы?
Возможно, если вам не разобрать какую-то тему, вам не стоит комментировать её категорическим тоном и называть узколобыми людей, потративших на её изучение больше времени :)
Претензии палестинцев мне понятны, и там сложная ситуация, да (начиная с 1915-го, когда англичане пообещали одну землю двум народам). Но текущая ситуация с Ираном попроще: иранскую территорию Израиль никогда не пытался захватить.
То есть, если у Израиля хорошая система ПВО, которая сбила ракеты из Ирана, тогда эти ракеты считаются нападением на Иран?
С Ливаном и Газой отдельная сложная история, это не Иран. Но если вы хотите поговорить об этом: вы в курсе, что из Ливана обстреливают север Израиля уже год подряд, множество израильтян оттуда эвакуированы и год подряд не могут вернуться в свои дома?
Находится ли армия Израиля на территории Ирана? Если нет, то в чём заключается вторжение?
Да, это хороший вопрос. Ну, в общих чертах понимаю так:
Evaluation моделей нужен не только тем, кто ими пользуется, но и тем, кто их делает. Самой команде, работающей над новой LLM, не всегда понятно автоматически «от каких наших действий стало лучше и насколько именно», нужны какие-то метрики, чтобы двигаться в правильном направлении.
И для обычных пользователей LMArena доступна бесплатно, а вот компании за evaluation своих новых моделей платят.
Но подробнее не узнавал (много ли сейчас платят, скажем?), и жаль, что в тексте новости об этом ничего нет. Думаю, vc стоило бы давать читателю информацию о том, где инвестиции дают под смутное обещание ИИ-будущего, а где в настоящем уже есть денежный поток.