Какие модели пробовали и с какой квантизацией?
UPADATE 6 апреля 2024 - На RTX 8000 load_in_8bit=True через свежие HF либы стал работать, что делает теперь эти карты очень выгодными для инференса больших моделей. У RTX 8000 нет Flash Attention 2
FractalGPT смог только по запрос "Составь 10 самых важных предложений из книги."
Из книги "Путеводитель "Автостопом по Млечному Пути" можно выделить следующие 10 самых важных предложений:
1. "Для ее разрешения было предложено много рецептов, большинство которых сводилось преимущественно к перемещению зеленых кусочков бумаги, что странно, потому что, вообще говоря, зеленые кусочки бумаги несчастными не были."
2. "И внезапно она поняла, что же было не так все это время. Теперь она знала, как можно было бы сделать свой мир добрым и счастливым местом."
3. "На этот раз все было верно, все могло бы получиться, и никого не нужно было бы ни к чему прибивать."
4. "Эта история не о ней. Это история ужасной, слепой катастрофы и некоторых из ее последствий."
5. "Еще это история книги, называющейся "Путеводитель "Автостопом по Млечному Пути"."
6. "Не только совершенно замечательной была книга, но еще и очень удачной."
7. "Она была популярнее, чем "Руководство по божественному уходу за домом", продавалась лучше, чем "Еще 53 способа проделать это при нулевой гравитации" и оказалась еще более спорной, чем трилогия философских супербоевиков Оолона Коллафида "В чем Бог был не прав", "Еще о величайших ошибках Бога" и "Да кто он такой, этот Бог, в конце концов?"
8. "Во многих патриархальных цивилизациях Внешнего восточного обода Галактики "Путеводитель "Автостопом по Млечному Пути" уже отнял у великой "Encyclopaedia Galactica" славу стандартного вместилища всего знания и мудрости."
9. "Хотя в Путеводителе много пробелов, и содержится масса недостоверного, или, по меньшей мере, ужасно неточного, он выигрывает по сравнению со старой, более прозаической, энциклопедией в двух существенных отношениях."
10. "А история того ужасного, бессмысленного четверга, его чрезвычайных последствий и того, как нерасторжимо они связаны с замечательной книгой, начиналась очень просто. Она началась с дома."
Хорошо, так уметь )
Если допустим у меня есть хорошая непубличная моделька, какие варианты попадания в каталог?
А сколько параллельно запросов выполняется на вашей инфраструктуре?
DALLE3: Высокая мода Токио)
DALLE3: closeup portrait photo of a gorgeous young giggling blonde woman in a vintage retro 60s print dress, wearing high heels, posing in front of a pretty 60s wallpaper pattern
По таблицам лидербордов и разным преплексити, там действительно малый процент отклонения. На мой субьективный взгляд, все эти значения метрик и тестов никогда не отвечают, а в какой момент модель просядет. Подозреваю, что даже 0.1% отклонения может где-то выстрелить плачевно в самом неожиданном месте. Нужно проводить тестирование в конкретных задачах.
Могу сдать в аренду домашний сервер
GPU с 2мя RTX 3090 24GB, соединённые NVlink (ускоряет обучение на 20-30%).
32 GB Ddr5 (можно расширить).
Топовый процессор Intel I9 13900KF.
SSD NVME Samsung 980 1Tb (можно расширить или добавить HDD).
Канал 1Гбит Skynet.
Подключен к ИБП.
Режим аренды - выделенный сервер, полный доступ.
Можно провести через юр лицо.
Есть услуги сисадмина для настройки.
Срок и стоимость от 15 000 в неделю.
Один из самых мощных серверов на рынке в сегменте 2х3090 24Gb. Аналогичная мощность у провайдеров стоит около 70-90т в месяц.
miteigi nemoto
Да, конечно. Любые модели с русским языком работают, но не все это делают хорошо.