Рубрика «прочитано, но не до конца понято»:
- как умирает качество в сетках от длины контекста и разных трюков поверх, работа старая, но тут ныне все взялись этот бенч (longmemeval) нещадно RL закидывать. Поэтому советую ознакомиться, чтобы не всегда вестись на 1м контекстного окна