Это какие-то хитрые бестии! – скажете вы, и будете правы. На самом деле, этот вывод напрашивался из других недавних исследований. Из чего следует такой вывод и какое практическое значение имеет это значение? Читайте!
🔥 Еще больше интересного в моем канале продуктовые штучки
Представьте модели LLM размером до более чем 100 миллиардов параметров, каждая из которых мощнее предыдущей. Среди них есть гиганты: Mistral (7 миллиардов), Mixtral (8x7 миллиардов), Llama (70 миллиардов) и колоссальная Falcon (180 миллиардов). Однако существуют и модели наподобие Phi1, Phi1.5 и Falcon 1B, стремящиеся к сравнимому уровню мощности,…