Битва LLM моделей: OPEN vs CLOSED

Наплодилось же LLM моделей за последний год…Дабы не потеряться в них, собрал карту сильнейших, за которыми мы следим в фонде Axevil. Через призму извечного противостояния open-source и закрытых моделей

Всю же палитру из почти 400 тыс! моделей с открытым исходным кодом, как foundational, так и fine-tuned, можно посмотреть и даже потестить на Hugging Face

Ниже поделюсь парой комментариев по содержанию самой карты:

1. Космическая скорость развития моделей на архитектуре трансформер. Доброй половины не было и полгода назад. Чего только стоит Grok от Илона на базе уникальных данных Твиттера real-time. Также ждем на подходе Olympus от Amazon

2. Open-source наступает на пятки GPT-4. Хоть детище OpenAI все еще сильнее открытых Llama и Mistral, гандикап уверенно сокращается. Такими темпами год-полтора и мы увидим доминацию (по бол-ву бенчмарков) open-source

3. Следующая веха — концентрация вокруг топ-5/7 фундаментальных LLM. Скорее всего текущих лидеров. Будут выступать основой, которую можно донастроить на своих данных под узкие задачи бизнеса

4. Феномен LLM имеет не только корни США. Свои центры силы находятся и в Китае, Франции, Израиле, России. Даже (по слухам), скоро могут появиться свои LLM в Индии и Казахстане

5. В Поднебесной свои баталии open VS closed. Похоже, Alibaba подсмотрел за Meta и пошел против закрытых Baidu/Huawei, поддержав на днях новый open-source проект 01.ai от ex-главы Google China по оценке в $1 млрд!

Но самое интересное, что вне зависимости от лагеря (open или closed), все мы соглашаемся с главным — LLM модели зависят от качественных данных!

Решить проблему призван юникорн Scale AI, серый кардинал ИИ революции и лидер рынка маркировки данных, без которой сегодня невозможна ни одна LLM

Благодаря своему софту Scale AI помогает не просто ускорить процесс подготовки данных, но и автоматизировать весь MLOps с донастройкой и интеграцией любой модели для бизнеса. В том числе для OpenAI, Anthropic, Meta, StabilityAI и многих других

🤘 Чтобы следить за выходом новых материалов, переходите в тг канал Венчурная Прожарка. Подписывайтесь и делитесь с друзьями, а пока что до скорого!