Как исправить размытые, искажённые или деформированные лица в искусстве, созданном с помощью ИИ

Три недели назад я создал, по моему мнению, лучшее изображение, которое у меня было. когда-либо сделанный. Фантастическая сцена в таверне. Теплый свет камина, детализированный деревянный балки, группа путешественников за угловым столиком. Состав был идеально. Освещение было именно таким, как я хотел. я был готов опубликовать это везде.

Затем я увеличил масштаб.

У одного из путешественников левый глаз плавал примерно на полдюйма выше. где оно должно быть. У другого был рот, похожий на плавится боком. Третий, тот, что сзади, не нюхал. все. Просто гладкий участок кожи там, где должен быть нос.

Я попробовал перепрошить. У меня один и тот же состав, может быть, один из каждого пятнадцать поколений, и каждый раз лица были разбиты в разные способы. Иногда глаза были в порядке, но рот был неправильным. Иногда пропорции были в порядке, но все было размыто. я потратил два вечера, пытаясь получить чистое поколение, прежде чем я понял, что решение неправильной задачи.

Почему групповые сцены всегда разбивают лица

Большинство генераторов изображений AI создают изображения с базовым разрешением около 1024x1024 пикселей. Это звучит как много, пока вы не задумаетесь о том, что происходит в групповой сцене. Если на вашем изображении четыре человека, каждый face может получить только патч размером 40x40 пикселей для работы. Чем дальше лицо снято с камеры, тем меньше пикселей оно получит.

При разрешении 40х40 пикселей модели ИИ просто не хватает холста для нарисуйте два симметричных глаза, правильный пропорциональный нос и ровный форменный рот. Дело не в том, что модель плохо разбирается в лицах. Это ты просят его нарисовать портрет на почтовой марке. Пиксельный бюджет слишком мал.

Это не проблема Мидпути или проблема стабильной диффузии. Это проблема разрешения, которая затрагивает каждый текущий генератор изображений AI. Пока базовое разрешение не станет значительно больше, групповые сцены и у далеких фигур всегда будут проблемы с лицом.

Переброс — это ловушка

Я потратил около 40 часов работы графического процессора, пытаясь создать эту таверну. сцена с чистыми лицами. Каждый раз, когда у меня получались хорошие лица, композиция изменился. Каждый раз, когда я держал композицию, лица ломались. Математика здесь против тебя. Количество переменных, которые должны быть согласованы для идеальные лица и идеальная композиция в одном поколении — это астрономический.

Более разумный подход — разделить две проблемы. Получите композиция, которую вы хотите в первую очередь. О лицах вообще не беспокойтесь. Однажды у вас рабочая композиция, исправьте лица отдельно. Это быстрее, дешевле и значительно менее разочаровывающим.

Как работает специализированная реставрация лица

Обычные апскейлеры все повышают резкость одинаково. Они не знают отличие грани от деревянного бруса. Модели восстановления лица такие как GPGAN, были обучены специально на человеческих лицах. Миллионы их. Они понимают анатомию лица. Где должны располагаться глаза относительно друг другу. Как нос совпадает со ртом. Какая натуральная кожа текстура выглядит как искусственное сглаживание.

Когда вы запускаете этап восстановления лица на своем изображении, сначала модель обнаруживает все области лица, а затем улучшает только эти области. фон, освещение, цвета, одежда. Ничего из этого изменения. Трогаются только лица. И модель консервативная по дизайну. Он улучшает то, что есть, а не изобретает полностью. новые черты лица.

Стоимость составляет 4 кредита за изображение на ClarifyPix. Обработка занимает от трех до шесть секунд независимо от того, сколько лиц присутствует в сцене. Эта таверна Изображение с четырьмя путешественниками обошлось мне в 4 кредита и шесть секунд. То же самое image стоило мне двух вечеров перемотки, прежде чем я понял это.

Когда реставрация лица не помогает

Есть пределы. Если лицо меньше примерно 24x24 пикселей, недостаточно структурной информации даже для специализированной модели. работать с. Для улучшения модели требуется хотя бы базовая форма лица. Ан глаз, очертание носа, положение рта. Если все, что он может видеть, это капля телесного цвета, результат все равно будет выглядеть как капля. Может быть чуть более детальная клякса, но клякса.

Для таких случаев я нашел обходной путь. Создайте одно и то же приглашение несколько больше раз. Выберите поколение, в котором произошло это конкретное лицо. выйти лучше всех. Обрежьте его и скомпонуйте в основное изображение. освещение и цвета обычно достаточно хорошо совпадают, и быстрые уровни корректировка скрепляет дело. Затем выполните один проход восстановления лица. композицию, чтобы устранить любые незначительные несоответствия.

Это больше работы, чем просто перемотка? Да, в краткосрочной перспективе. Но вы делаете это один раз, и все готово. Больше не нужно молиться богам ГСЧ за поколение, в котором все совпадает. Вы берете под контроль результат вместо того, чтобы надеяться, что ИИ повезет.

Это также исправляет реальные фотографии.

Я должен упомянуть об этом, потому что многие люди этого не осознают. та же модель восстановления лица, которая исправляет лица, сгенерированные ИИ, также работает на реальных фотографиях. Старые семейные фотографии, на которых лица мягкие или размытые. Групповые снимки смартфона, на которых некоторые люди оказались не в фокусе. Низкий снимки цифровой камеры 2005 года в разрешении. Модель не волнует откуда взялось изображение. Он просто видит лицо и пытается это сделать. яснее.

Я проверил это на размытой фотографии моих бабушки и дедушки, сделанной в 1980-х годах. Оригинал представлял собой отпечаток размером с бумажник, отсканированный с низким разрешением. Мой Лицо дедушки было примерно 30 пикселей в поперечнике. Лицо В ходе реставрации ему вернули глаза, форму носа, даже небольшая асимметрия в улыбке. Моя мама плакала, когда увидела это. Это сам по себе стоил больше, чем те 4 кредита, которые он стоил.

Если вы устали выбрасывать отличные композиции из-за лиц сломаны, попробуйте выполнить этап восстановления лица на следующем поколение. Возможно, у вас уже есть нужное изображение. Это просто нужно лица застыли.