⚡️ FLUX: лучшая модель Text-to-image от BlackForest.

Black Forest Labs, компания, основанная командой разработки, покинувшей SatbilityAI (Stable Diffusion) опубликовала пресс-релиз с презентаций своего семейства GenAI моделей FLUX версии 1.

⚡️ FLUX: лучшая модель Text-to-image от BlackForest.

Представленное семейство FLUX.1 определяет новый уровень детализации изображения, точного следования промпту, разнообразия стилей и сложности сцен для синтеза текста в изображение.

⚡️ FLUX: лучшая модель Text-to-image от BlackForest.

Каждая вариация семейства FLUX.1 поддерживают популярные соотношения сторон и разрешения от 0,1 (128х) до 2,0(2048х) мегапикселя.

FLUX.1 выпускается в трех вариантах: FLUX.1 pro, FLUX.1 dev и FLUX.1 schnell:

🟠FLUX.1 pro. Старшая и лучшая модель в семействе, доступная только по подписке через API и на онлайн-сервисах Replicate и FalAI. Подписка доступна частным лицам и корпоративным пользователям. Стоимость подписки - 0.05USD за изображение 1024х1024 при 50 шагах генерации;

🟢FLUX.1 dev. Открытая модель для некоммерческого использования. Оптимизирована методом дистилляции из версии FLUX.1 pro, что сделало ее менее требовательной к потреблению VRAM, повысило скорость инференса при незначительной деградации качества и точности. Веса модели доступны на Huggingface. Для коммерческой эксплуатации нужно запрашивать лицензию у разработчика.

🟢FLUX.1 schnell. Младшая и самая быстрая модель, предназначенная для локальной разработки и личного использования. Версия schnell распространяется под лицензией Apache2.0 и опубликована в открытом доступе на Huugingface.

Код инференса можно найти на Github проекта или использовать поддержку модели в ComfyUI.

Все модели FLUX.1 основаны на гибридной архитектуре мультимодальных и параллельных блоков трансформеров диффузии и масштабированы до 12B параметров.

Улучшения предыдущих диффузионных моделей проведено за счет использования согласования потоков - концептуально простого метода обучения, который включает диффузию как частный случай.

⚡️ FLUX: лучшая модель Text-to-image от BlackForest.

Повышение производительности модели и эффективность использования аппаратного обеспечения получено за счет использования rotary positional embeddings и параллельных слоев внимания.

Более подробный технический отчет разработчики обещают опубликовать в ближайшем будущем.

Локальный запуск с автозагрузкой моделей dev и schell с выводом cli или с UI Streamlit:

Clone repo and install dependences

cd $HOME && git clone https://github.com/black-forest-labs/flux

cd $HOME/flux

python3.10 -m venv .venv

source .venv/bin/activate

pip install -e '.[all]'

Download dev or schnell automatically via HuggingFace you will need to be logged in HF

For manual downloaded models you can specify the paths via environment-variables:

export FLUX_SCHNELL=

export FLUX_DEV=

export AE=

For cli interactive sampling run

python -m flux --name --loop

Or to generate a single sample run

python -m flux --name \

--height --width \

--prompt ""

streamlit demo that does both text-to-image and image-to-image

streamlit run demo_st.py

🟡Страница проекта

🟡Модель dev на HF

🟡Модель schnell на HF

🟡Demo на FalAI (FLUX Pro)

🟡Demo на FalAI (FLUX dev)

🟡Demo на HF (FLUX.1 schnell)

Начать дискуссию