AI 생성 아트에서 흐릿하거나 일그러지거나 왜곡된 얼굴을 수정하는 방법

3주 전에 나는 내가 가진 최고의 이미지라고 생각했던 것을 생성했습니다. 만든 적이 있습니다. 환상적인 선술집 장면. 따뜻한 벽난로, 상세한 목재 모퉁이 테이블에 여행자 그룹인 빔. 구성은 다음과 같습니다. 완벽해. 조명은 딱 제가 원하던 것이었습니다. 포스팅 준비했어요 어디서나요.

그런 다음 확대했습니다.

여행자 중 한 명은 왼쪽 눈이 약 0.5인치 위에 떠 있었습니다. 그것이 있어야 할 곳. 다른 하나는 입이 마치 입처럼 생겼습니다. 옆으로 녹는다. 세 번째, 뒤에 있는 사람은 코가 없었어요. 모두. 코가 있어야 할 부분의 부드러운 피부 패치입니다.

다시 롤링해 보았습니다. 같은 구성이 아마 하나쯤 있을 거예요 15세대가 지나갈 때마다 얼굴이 깨졌습니다. 다른 방법. 때로는 눈은 괜찮았지만 입은 틀렸다. 때로는 비율이 괜찮았지만 모든 것이 흐릿했습니다. 나는 썼다 내가 깨닫기 전에 깨끗한 세대를 얻으려고 이틀 저녁 잘못된 문제를 해결하는 것입니다.

그룹 장면이 항상 얼굴을 깨뜨리는 이유

대부분의 AI 이미지 생성기는 약 의 기본 해상도로 이미지를 생성합니다. 1024x1024픽셀. 당신이 무엇을 생각하기 전까지는 그것은 많은 것처럼 들립니다. 단체 장면에서 발생합니다. 이미지에 4명의 사람이 있는 경우 각 사람은 얼굴은 40x40 픽셀 패치만 사용할 수 있습니다. 더 나아가 얼굴이 카메라에서 촬영될수록 얻는 픽셀 수가 줄어듭니다.

40x40픽셀의 AI 모델에는 캔버스가 충분하지 않습니다. 두 개의 대칭적인 눈, 적절한 비율의 코, 고르게 그려주세요. 모양의 입. 모델의 얼굴이 나쁘다는 것은 아닙니다. 그것은 당신이 우표에 초상화를 그려달라고 요청하고 있습니다. 픽셀 예산 너무 작습니다.

이는 Midjourney 문제나 Stable Diffusion 문제가 아닙니다. 그것은 현재의 모든 AI 이미지 생성기에 영향을 미치는 해상도 문제입니다. 기본 해상도가 상당히 커질 때까지 그룹 장면과 멀리 있는 인물에게는 항상 얼굴 문제가 있습니다.

다시 굴리는 것은 함정이다

그 선술집을 생성하는 데 대략 40 GPU 시간을 소비했습니다. 깨끗한 얼굴의 장면. 좋은 얼굴이 나올 때마다 구도가 변경되었습니다. 구도를 유지할 때마다 얼굴이 깨졌습니다. 수학 여기서 당신을 반대합니다. 정렬해야 하는 변수의 수 같은 세대의 완벽한 얼굴과 완벽한 구도는 천문학적.

더 현명한 접근 방식은 두 가지 문제를 분리하는 것입니다. 받기 원하는 구성을 먼저 얼굴은 전혀 걱정하지 마세요. 한 번 작동하는 구성이 있습니다. 얼굴을 별도로 수정하세요. 이것은 더 빠르고, 더 저렴하고, 극적으로 덜 실망스럽습니다.

전용 얼굴 복원 작동 방식

일반 업스케일러는 모든 것을 동일하게 선명하게 합니다. 그들은 모른다 얼굴과 나무 기둥의 차이. 얼굴 복원 모델 GFPGAN처럼 인간의 얼굴에 대해 특별히 훈련을 받았습니다. 수백만 그들. 그들은 얼굴 해부학을 이해합니다. 눈이 상대적으로 어디에 앉아야 하는가 서로에게. 코가 입과 어떻게 정렬되는지. 무슨 자연스러운 피부야? 텍스처는 인공 스무딩과 비슷해 보입니다.

이미지에 얼굴 복원 단계를 실행하면 모델이 먼저 모든 얼굴 영역을 감지한 다음 해당 영역만 향상시킵니다. 는 배경, 조명, 색상, 의상. 전혀 변화. 얼굴만 만지면 됩니다. 그리고 모델은 보수적이다. 디자인 상. 완전히 발명하기보다는 존재하는 것을 향상시킵니다. 새로운 얼굴 특징.

ClarifyPix의 비용은 이미지당 4크레딧입니다. 처리에는 3일이 소요됩니다. 장면에 있는 얼굴 수에 관계없이 6초입니다. 그 선술집 4명의 여행자가 포함된 이미지를 촬영하는 데 4크레딧 6초가 소요되었습니다. 같은 내가 이것을 알아내기까지 이미지를 다시 롤링하는 데 이틀 저녁이 걸렸습니다.

얼굴 복원이 도움이 되지 않는 경우

한계가 있습니다. 얼굴이 약 24x24픽셀보다 작은 경우 전문화된 모델이라 할지라도 구조적 정보가 충분하지 않습니다. 함께 일하세요. 모델을 향상하려면 최소한 기본 얼굴 모양이 필요합니다. 안 눈, 코 윤곽, 입 위치. 볼 수 있는 것이 전부라면 살색 얼룩이 있어도 결과는 여전히 얼룩처럼 보입니다. 아마도 약간 더 자세한 얼룩이지만 얼룩입니다.

이러한 경우 해결 방법을 찾았습니다. 동일한 프롬프트를 몇 개 생성합니다. 더 많은 시간. 그 특정 얼굴이 일어난 세대를 선택하세요 가장 잘 나옵니다. 이를 잘라서 메인 이미지에 합성하세요. 는 조명과 색상은 일반적으로 충분히 잘 어울리고 빠른 레벨 조정이 거래를 성사시킵니다. 그런 다음 단일 얼굴 복원 패스를 실행합니다. 사소한 불일치를 정리하기 위한 합성입니다.

그냥 다시 굴리는 것보다 이게 더 많은 작업인가요? 예, 단기적으로는 그렇습니다. 하지만 한 번만 하면 끝입니다. 더 이상 RNG 신들에게 기도하지 마세요. 모든 것이 일치하는 세대. 출력을 제어할 수 있습니다. AI가 운이 좋기를 바라는 대신.

이것은 또한 실제 사진을 수정합니다

많은 사람들이 그것을 깨닫지 못하기 때문에 이것을 언급해야 합니다. 는 AI가 생성한 얼굴을 수정하는 동일한 얼굴 복원 모델도 작동합니다. 실제 사진에 얼굴이 부드럽거나 흐릿한 오래된 가족 사진. 일부 사람들이 초점이 맞지 않은 스마트폰 단체 사진. 낮음 2005년부터 해상도 디지털 카메라 이미지. 모델은 상관하지 않습니다. 이미지가 어디서 왔는지. 단지 얼굴을 보고 그것을 만들려고 노력할 뿐입니다. 더 명확해졌습니다.

나는 이것을 1980년대 조부모님의 흐릿한 사진에서 테스트했습니다. 원본은 저해상도로 스캔된 지갑 크기의 인쇄물이었습니다. 내 할아버지의 얼굴은 가로가 30픽셀 정도였을 겁니다. 얼굴 복원패스는 눈, 코 모양, 심지어 그의 미소에는 약간의 비대칭이 있습니다. 그걸 보고 엄마가 울었어요. 그 혼자서도 비용이 드는 4크레딧보다 더 많은 가치가 있었습니다.

얼굴 때문에 멋진 구도를 버리기 지치셨다면 손상되었습니다. 다음 번에 얼굴 복원 패스를 실행해 보세요. 세대. 원하는 이미지가 이미 있을 수도 있습니다. 단지 필요합니다 얼굴이 고정되었습니다.