Бенчмарки

На одну неделю выпала прямо таки гора апдейтов топовых моделей. Конкуренция между AI разработчиками накалена, как между IPhone и Samsung в лучше годы. Пробежимся галопом по Европам, чтобы быть в курсе.

🔥 Еще больше интересного в моем канале продуктовые штучки

О чем это? Некоторое время назад Apple сделал громкое заявление, которое взбудоражило сообщества ИИ исследователей:…

Вышел ответ на обвинения со стороны Apple в отсутствии у LLM рассуждающих способностей, и по слухам – ответ написан с участием самой LLM (Anthropic). Спор выходит далеко за пределы обсуждения методологии, и напрямую связан с вопросом: как быстро мы получим суперинтеллект?

🔥 Еще больше интересного в моем канале продуктовые штучки

Серьезный вердикт от Apple, который еще громче звучит с учетом того, что у Apple нет своих LLM. Расскажу, на основе чего Apple пришли к такому выводу (может, они тоже хайпуют?), что об этом думают в сообществе, и что с этим делать (если это так).

🔥 Еще больше интересного в моем канале продуктовые штучки

Это какие-то хитрые бестии! – скажете вы, и будете правы. На самом деле, этот вывод напрашивался из других недавних исследований. Из чего следует такой вывод и какое практическое значение имеет это значение? Читайте!

🔥 Еще больше интересного в моем канале продуктовые штучки

Игра выпущена аж 30 лет назад, почему это тогда новость, да не просто в медиа, а уважаемых техно изданий? И почему в этом видят многообещающее явление?

🔥 Еще больше интересного в моем канале продуктовые штучки

Сегодня я хочу по-рассуждать о 2-х кардинально отличающихся друг от друга по своему темпераменту ИИ-продуктах: DeepSeek и Claude. Первый "взорвал" рынок, а второй спокойно движется своим путем и не особенно отсвечивает. В попробуем понять, в чем ценность анализа их пути и сделаем полезные для нас с вами выводы.

Оценка LLM-систем вручную — это утомительное, времязатратное и порой раздражающее занятие. Поэтому, если вам приходилось многократно прогонять набор промптов, чтобы вручную проверять каждый вывод LLM, вас обрадует, что эта статья научит вас всему необходимому для правильной оценки LLM и обеспечения долгосрочной эффективности вас и вашего приложения…

В ноябре в ТОП-10 в «LLM Benchmark» произошло много изменений. Также произошли некоторые изменения в том, как мы создаем продукты на основе LLM. Давайте приступим.

В этой статье мы сравним различные бенчмарки, которые помогают ранжировать крупные языковые модели для задач разработки программного обеспечения.

В последние годы большие языковые модели (large language model, LLM) совершили революцию в мире искусственного интеллекта, став фундаментом для множества различных сфер, от чат-ботов до генерации контента. Однако такой прогресс несёт с собой и новые сложности; в частности, разработчикам нужно обеспечить оптимальность и этичность моделей. При выполн…