Чтобы попасть в лидерборд чатбот-арены https://lmarena.ai, нужно не менее 300 оценок, а пока даже число скачиваний около 30. Ждём.
Синтетические же тесты давно бесполезны, так как многие модели на них обучают. Поэтому, даже если вы честные и не будете тесты использовать, другие модели будут, и ваша оценка ничего не скажет.
Я локально у себя запустил. По моим ощущениям очень хорошо для 1.5B. Правда, это вызывает подозрения, что за основу была какая то модель взята. В любом случае, результат мне понравился.
Че по тестам? 1.5 лярда конечно не очень много, интересно хоть кого-то обходит?
Чтобы попасть в лидерборд чатбот-арены https://lmarena.ai, нужно не менее 300 оценок, а пока даже число скачиваний около 30. Ждём.
Синтетические же тесты давно бесполезны, так как многие модели на них обучают. Поэтому, даже если вы честные и не будете тесты использовать, другие модели будут, и ваша оценка ничего не скажет.
Я локально у себя запустил. По моим ощущениям очень хорошо для 1.5B. Правда, это вызывает подозрения, что за основу была какая то модель взята. В любом случае, результат мне понравился.