Рейтинг нейросетей для генерации изображений

Привет, решили разобрать для себя «какой из сервисов реально лучше» для ежедневных офисных задач. В интернете сотни «убийц» ChatGPT и Midjourney. Давайте разбираться!

Для каждого сервиса мы использовали 14 различных по смыслу, сложности и стилю промптов. Каждая генерация оценивалась отдельно и сравнивалась с генерациями других сервисов, оценивалось качество изображения и решение задачи промпта (понимание). Помимо генерации в итоговом рейтинге мы оценили функциональность, юзабилити, сложность входа (доступность в РФ, требования к vpn, наличие триалов и пр.) надежность и производительность. Стоимость оставили за границей рейтинга. (Мы в телеграм)

В оценку взяли большинство сервисов, которые гуляли по интернету в различных «картинках-рейтингах» и отобрали те, их них, которые можно было протестировать бесплатно (итого 11 шт). Ловите то, что получилось:

Поехали!

ГЕНЕРАЦИИ

Средний результат по всем сервисам - 3.07 из максимальных 5 (что в целом очень неплохо). Нет желания грузить списком сгенерированных картинок, примеры:

Хуже всего генераторы изображений справляются с запросом объединения лица человека и животного в единую полноразмерную картинку (a full-body, high-quality, photorealistic image of achimera composed of the head of a slightly chubby 35-year-old man with a small dark beard and an earringin one ear, and the body of a corgi dog. The chimera should maintain anthropometric proportions and appear as if it was captured on a professional camera during sunset lighting. Ideally, the chimera should be walking on a leash held by a tall woman). Худший средний балл запроса по всем сервисам - 1.80. Никто не справился, но за качество генерации у MJ балл чуть выше.

Странно, что почти все сервисы справились с объединением животных из зебры и жирафа(magical animal in the form of a giraffe with zebra skin on the background of the zoo) . Средний балл - 3.50.

Наиболее простая генерация для каждого из сервисов - киберпанк киборг (Cyborg in exoskeleton with arm manipulator in cyberpunk style). Средний балл 4.00.

Запрос для демо несуществующего технорешения, оказался сложным, видимо, слишком много объектов необходимо было объединить в изображении, но некоторые результаты вполне можно использовать (robotic platform, on it stands a tripod with a camera, it rides on pipe rails through an industrial greenhouse in which cucumbers grow, super realistic, 4k). Средний балл 2.91

Интересный запрос на мальчика в ветхой одежде, некоторые сети поняли, что к ветхости было бы неплохо добавить грустные лица. Интересно (видимо, ChatGPT под капотом делает понимает запроса глубже, Kandinsky справляется с этой задачей тоже безупречно, но с худшим качеством). Средний балл 3.67

Ночь, улица, фонарь, аптека – неберущийся запрос для текущих версий нейросетей (neon sign with the word "pharmacy", night, street, lamp). Средний балл 2.8

Создание логотипа в виде кота в каске. Некоторые сети с упорностью выдавали полностью провальные ответы. Средний балл 3.40

ВЫВОДЫ

· Текущие версии сетей не умеют «в генерацию текста» и не умеют скрещивать объекты по сложным запросам с людьми

· Только Бинг и Кандинский понимают русский язык

· Многие сервисы абсолютно не стоят того, чтобы за них платить

· Плохой интерфейс и слабая функциональность портят даже самые лучшие генераторы

· Сложная регистрация и необходимость VPN для многих будут стопфакторами

· Есть отличные сервисы с бесплатной или ограниченно бесплатной версией

НОМИНАЦИИ

Логику рейтинга можно посмотреть в Google таблицы (будем рады критике и обсуждению для дальнейшего совершенствования).