Графика на основе каскада нейросетей

Привет, это Настя, руководитель отдела контента ИИ-сервиса Aigital. Мы создаем инструменты на основе нейросетей, чтобы пользователи и корпоративные команды могли легко и быстро решать маркетинговые и бизнес-задачи. Здесь мы делимся разборами наших навыков и ИИ-ассистентов.

Для пользователя все максимально просто — есть всего 3 поля, которые он заполняет:

1. что изобразить;
2. что учесть;
3. какие пропорции.

И получает изображение. Но под капотом над этим изображением трудится не одна нейронка.

1. Полученный запрос попадает в переводчик, который переводит его на английский и передает в генератор идей.
2. В генераторе идей есть внутренний фреймворк, который улучшает креативность запроса. С его помощью нейронка разбивает задачи на части, углубляется в каждую, находит лучшее решение и прорабатывает его в качестве финального результата. Наш фреймворк основан на работе «Паттерны креативного мышления».
3. На основе полученных данных генерируется промпт, благодаря которому ИИ будет понимать, как описать иллюстрацию и какой из 30+ графических стилей выбрать. Все это позволит графической нейронке лучше «почувствовать» настроение изображения.
4. В «Графике», как и в других навыках, есть сет из коротких подсказок, которые добавляются к промпту и описывают стиль. В этом навыке, например, используем 2D Flat.
5. Отдельно для навыка прописан и негативный промпт, который исключает вероятность того, что получится криво сгенерированная картинка.
6. Все это собирается в единый промпт и переходит в ноду нейронки Fooocus, которая генерирует изображение.
7. Далее результат передается в Aigital и сохраняется на сервере, чтобы пользователь мог вернуться к нему в истории своих генераций.
8. Отдельная фишка этого каскада в том, что если на картинке есть лицо, изображение из Fooocus переходит в дообученную модель Stable Diffusion, которая делает черты лица более четкими и естественными.

Всем этим мы снимаем с пользователя необходимость самому продумывать подробный запрос.

А если вам интересно читать о мире нейросетей, идеях и жизни проекта, подписывайтесь на наш телеграм-канал.