Как я перестал метаться между нейросетями и устроил им общий экзамен
1. Как я утонул в вариантах
Эта странная привычка подкрадывалась тихо. Я по-настоящему заметил её только в момент, когда в очередной раз не смог откопать в чате ту самую удачную обложку.
Сценарий всегда был один и тот же. Запускаю сервис — генерирую, кривлюсь, открываю другой. В новом движке промпт надо уже переформулировать: модель реагирует на слова по-своему. В третьем внезапно заходит композиция, зато детализация добивает смысл. Через пару дней я утыкаюсь в десяток PNG-шек и уже не понимаю, где был продуманный результат, а где — случайный выстрел. В этот момент стало ясно: хватит. Случайное «пощупаю тут, попробую там» никуда не ведёт.
2. Экзамен как фильтр для стека
Я сформулировал простое правило. Хочет сервис остаться в моём рабочем наборе — пусть сдаёт экзамен. Не разговоры «в общем он неплох», а чёткий, одинаковый для всех маршрут с задачами. Никаких поблажек и «ну это же превью-версия».
3. Мини-платформа на Node.js
С точки зрения техники всё до смешного незамысловато. Node.js, TypeScript, запуск через tsx. Конфиг с моделями лежит отдельно, API-ключ прячется в .env, а команда запуска выглядит вроде npm run test:niche или npm run test:collage-2×2-eight-prompts. Я взял творческий хаос и завернул его в понятный pipeline.
Нажимаю одну команду — и пакет тестов сам прогоняет одни и те же сценарии через всех кандидатов. Мой вклад ограничивается стартом.
4. Метрики против иллюзий
Зачем вся эта конструкция? Потому что фраза «нейросеть как нейросеть, они все похожи» работает только как успокоительная. На практике разброс огромный. Один сервис идеально держит композицию, но превращает мелкие детали в мыло. Другой рисует фактуру так, что хочется распечатать, но при просьбе «сделай коллаж 3×3 с чёткой сеткой» начинает творчески перестраивать сетку. Третий стабилен, предсказуем, но на дистанции из сотни запросов выставляет такой счёт, что хочется срочно закрыть вкладку.
Если не фиксировать числа, всё это превращается в туман из ощущений. Сегодня кажется, что сервис отличный. Завтра он незаметно прожигает бюджет на десятке однотипных задач, а ты искренне не понимаешь, когда именно всё пошло не так.
5. Тупой тест на форматы, который вскрыл многое
Хороший пример — элементарный тест на соотношение сторон. Задача почти детская: закат над горами в трёх вариантах — 3:4, 1:1 и 16:9. Базовый минимум, который вроде бы должны уметь все. Но реальность другая. По сути, нужно всего три раза пробежать глазами колонку со статусом. Там, где на 3:4 и 16:9 горит FAIL, модель банально игнорирует запрос и рисует квадрат или свой любимый формат. И это на самом простом «закате»: ни сложной сцены, ни коллажа — просто солнце и горы в нужной рамке. Если углубиться, riverflow-v2-pro честно выдерживает все три формата. Но портретное изображение он делает 360 секунд — шесть минут. Когда у вас горят сроки, это непозволительная роскошь. Его быстрый собрат riverflow-v2-fast укладывается примерно в полминуты и при этом не ломает соотношения. Такой вариант уже реально использовать в проде. Flux, наоборот, показывает системную проблему: почти вся линейка black-forest-labs стабильно промахивается по нестандартным форматам. В колонке «Соотношение» снова и снова появляются 4/3 или 1/1, даже если в промпте явно задано «16:9, wide landscape». Единственный более-менее честный — flux.2-max, который хотя бы квадрат рисует как надо, но остальное — сплошной FAIL. Seedream-4.5 от Bytedance работает очень быстро: 7–8 секунд на запрос — звучит заманчиво. Но модель упорно игнорирует заданный формат и почти всегда выдаёт квадрат 2048×2048. Для задач «просто посмотреть» это терпимо, но если вы собираете обложку под конкретный размер сторис или плаката, такой сервис только ломает макеты. Ради подобных наблюдений всё и было построено. Каждый прогон в моей системе фиксирует статус, итоговый размер, время и, где это важно, стоимость. После этого скрипты автоматически собирают HTML-отчёт. Открываешь его в браузере — и сразу видно, кто реально справился, а кто только делает вид, что работает. Особенно это выручает, когда важна строгая композиция: сетки 2×2 или 3×3 без «подвинул, потому что так красивее». Это тот случай, когда творчество модели только мешает. Самый показательный режим — сценарий «восемь формулировок» (collage-2×2-eight-prompts). Задача одна и та же, содержание неизменно, меняются только формулировки промпта. Где-то я пишу коротко и грубо, где-то — более аккуратно, местами добавляю лишний контекст. В этот момент становится видно, как сервис реагирует на стиль и интонацию запроса, а не только на тему. Одна и та же модель способна отработать идеально по сухому ТЗ и полностью провалиться на «сделай красиво, сам понимаешь». После такой практики начинаешь писать промпты иначе: либо точнее, либо осознаннее. И перестаёшь удивляться, почему «здесь зашло, а там — полный рандом». Главный вывод у всей этой истории довольно приземлённый. Нельзя всерьёз выбирать AI-сервисы по рекламе, случайным демкам или восторженным отзывам в чатах. Их нужно ставить в одинаковые условия. Прогонять на своих реальных задачах, сохранять результаты и сравнивать числа, а не эмоции. Тогда выбор перестаёт быть мучением в духе «этот вроде нравится, а тот красиво рисует». Он становится спокойным управленческим решением: этот — для быстрых черновиков, этот — для аккуратной композиции, этот — для сложных, дорогих по смыслу запросов. В этот момент генеративный AI перестаёт быть магией и превращается в нормальный рабочий инструмент. Таким, каким он изначально и должен был быть.
6. Как ведут себя Riverflow, Flux и Seedream
7. Зачем хранить отчёты и артефакты
8. Сценарий «восемь формулировок»
9. Как вообще стоит выбирать AI-сервисы