Сравнение суммаризации в Mixtral-8x7B-Instruct при FP16, 8-bit, 4-bit + бонус примеры из Cloude 3
Насколько квантизация влияет на конечный результат генерации? Вопрос непраздный. Если верить публичным бенчмаркам, то квантизация 4-бит вроде не сильно влияет, особенно для больших моделей от 13B и выше. Но кто разберет эти десятые доли разницы. Лучше всего смотреть на конкретных задачах, для которых выбирается LLM. Я выбрал для теста - ненаглядную…
FractalGPT смог только по запрос "Составь 10 самых важных предложений из книги."
Из книги "Путеводитель "Автостопом по Млечному Пути" можно выделить следующие 10 самых важных предложений:
1. "Для ее разрешения было предложено много рецептов, большинство которых сводилось преимущественно к перемещению зеленых кусочков бумаги, что странно, потому что, вообще говоря, зеленые кусочки бумаги несчастными не были."
2. "И внезапно она поняла, что же было не так все это время. Теперь она знала, как можно было бы сделать свой мир добрым и счастливым местом."
3. "На этот раз все было верно, все могло бы получиться, и никого не нужно было бы ни к чему прибивать."
4. "Эта история не о ней. Это история ужасной, слепой катастрофы и некоторых из ее последствий."
5. "Еще это история книги, называющейся "Путеводитель "Автостопом по Млечному Пути"."
6. "Не только совершенно замечательной была книга, но еще и очень удачной."
7. "Она была популярнее, чем "Руководство по божественному уходу за домом", продавалась лучше, чем "Еще 53 способа проделать это при нулевой гравитации" и оказалась еще более спорной, чем трилогия философских супербоевиков Оолона Коллафида "В чем Бог был не прав", "Еще о величайших ошибках Бога" и "Да кто он такой, этот Бог, в конце концов?"
8. "Во многих патриархальных цивилизациях Внешнего восточного обода Галактики "Путеводитель "Автостопом по Млечному Пути" уже отнял у великой "Encyclopaedia Galactica" славу стандартного вместилища всего знания и мудрости."
9. "Хотя в Путеводителе много пробелов, и содержится масса недостоверного, или, по меньшей мере, ужасно неточного, он выигрывает по сравнению со старой, более прозаической, энциклопедией в двух существенных отношениях."
10. "А история того ужасного, бессмысленного четверга, его чрезвычайных последствий и того, как нерасторжимо они связаны с замечательной книгой, начиналась очень просто. Она началась с дома."