StarCoder2-Instruct - это первый полностью самонастраивающийся LLM-генератор кода

StarCoder2-Instruct - это первый полностью самонастраивающийся LLM-разработчик кода с помощью конвейера Hugging Face.

Этот конвейер использует StarCoder2-15B для генерации тысяч пар "промпт-ответ", которые затем используются для точной настройки StarCoder-15B без каких-либо человеческих аннотаций или дистиллированных данных из огромных и проприетарных LLM.

StarCoder2-15B-Instruct набрал 72,6 балла по шкале HumanEval и даже превосходит CodeLlama-70B-Instruct с ее 72,0 балла !

Оценки на LiveCodeBench показывают, что самонастраивающаяся модель работает даже лучше, чем та же модель, обученная на основе данных, полученных из GPT-4, это означает, что LLM может более эффективно учиться на собственных данных.

▪Blog: https://huggingface.co/blog/sc2-instruct

▪Model: https://huggingface.co/bigcode/starcoder2-15b-instruct-v0.1

▪Dataset: https://huggingface.co/datasets/bigcode/self-oss-instruct-sc2-exec-filter-50k

▪Code: https://github.com/bigcode-project/starcoder2-self-align

В своем канале я готовлю тесты по генерации кода на разных языках и там еще много крутых языковых моделей, заходите в гости.

#машинноеобучение #llm