ChatGPT 4 и 3.5 неплохо умеют говорить и думать на русском, потому что LLM обучаются на текстах из интернета, где, в том числе, присутствует русский язык. Но все-таки основной язык у них — английский, поэтому логично предположить, что российские модели, обученные с фокусом на русский язык, должны показывать результаты значительно лучше.
ChatGPT и другие LLM (даже «Яндекс» и «Сбер») неплохо умеют понимать и сравнивать РФ-адреса, но когда нужно обработать большой объем (например, 150 млн адресов) — получается медленно и дорого.
Bloomberg потратил $10 миллионов чтобы дообучить и сделать BloombergGPT заточенную под финансовые задачи. Через две недели вышла GPT4, которая превзошла их модель на тех самых финансовых задачах без всякого finetuning.
В этой статье хочу поделиться нашим опытом, как мы, при партнерстве с компанией IDX, обучили нейронную сеть для прогнозирования банкротства компаний.
На выходных стало скучно, и я решил поиграться с моделью GPT-3 для русского языка, которую опубликовал «Сбер» в 2020 году. Результаты порадовали, читайте ниже подробнее о результатах и потестируйте сами ;)