Cómo arreglar caras borrosas, deformadas o distorsionadas en el arte generado por IA

Hace tres semanas generé la que pensé que era la mejor imagen que tenía. jamás hecho. Una escena de taberna de fantasía. Cálida luz de fuego, madera detallada. vigas, un grupo de viajeros en una mesa de un rincón. La composición fue perfecto. La iluminación era exactamente lo que quería. estaba listo para publicar está en todas partes.

Luego hice zoom.

Uno de los viajeros tenía el ojo izquierdo flotando aproximadamente media pulgada por encima donde debería estar. Otro tenía una boca que parecía derritiéndose de lado. El tercero, el de atrás, no tenía nariz. todos. Sólo un trozo suave de piel donde debería estar la nariz.

Intenté volver a rodar. Obtuve la misma composición tal vez una de cada quince generaciones, y cada vez, los rostros estaban rotos en diferentes maneras. A veces los ojos estaban bien pero la boca estaba mal. A veces las proporciones estaban bien pero todo estaba borroso. gasté Dos noches intentando conseguir una generación limpia antes de darme cuenta de que estaba resolviendo el problema equivocado.

Por qué las escenas grupales siempre rompen caras

La mayoría de los generadores de imágenes de IA crean imágenes con una resolución base de aproximadamente 1024x1024 píxeles. Eso suena mucho hasta que piensas en lo que sucede en una escena grupal. Si tu imagen tiene cuatro personas, cada una Es posible que la cara solo tenga un parche de 40x40 píxeles para trabajar. Cuanto más lejos un Cuanto más cara sea de la cámara, menos píxeles obtendrá.

Con 40x40 píxeles, el modelo de IA simplemente no tiene suficiente lienzo para Dibuja dos ojos simétricos, una nariz proporcionada correctamente y una nariz uniforme. boca en forma. No es que la modelo sea mala con las caras. es que tu le piden que pinte un retrato en un sello postal. El presupuesto de píxeles es demasiado pequeño.

Este no es un problema de mitad del viaje ni un problema de difusión estable. es un problema de resolución que afecta a todos los generadores de imágenes de IA actuales. Hasta que las resoluciones base aumenten significativamente, las escenas grupales y Las figuras distantes siempre tendrán problemas de cara.

Re-rolling es una trampa

I burned through probably 40 GPU hours trying to generate that tavern escena con caras limpias. Cada vez que me salían buenas caras, la composición cambiado. Every time I kept the composition, the faces broke. las matematicas está en tu contra aquí. El número de variables que tienen que alinearse para perfect faces and a perfect composition in the same generation is astronómico.

The smarter approach is to separate the two problems. Obtener el composición que quieras primero. No te preocupes en absoluto por las caras. una vez you have a composition that works, fix the faces separately. esto es faster, cheaper, and dramatically less frustrating.

Cómo funciona la restauración facial dedicada

Los escaladores generales afinan todo por igual. Ellos no saben el Diferencia entre un paramento y una viga de madera. Modelos de restauración facial. como GFPGAN fueron entrenados específicamente en rostros humanos. Millones de ellos. Entienden la anatomía facial. Dónde deben situarse los ojos en relación el uno al otro. Cómo se alinea la nariz con la boca. Que piel natural apariencia de la textura versus alisado artificial.

Cuando ejecuta una pasada de restauración facial en su imagen, el modelo primero detecta todas las regiones de la cara y luego mejora solo esas regiones. el El fondo, la iluminación, los colores, la ropa. Nada de eso cambios. Sólo se tocan las caras. Y el modelo es conservador. por diseño. Mejora lo que hay en lugar de inventarlo por completo. nuevos rasgos faciales.

El costo es de 4 créditos por imagen en ClarifyPix. El procesamiento tarda de tres a seis segundos independientemente de cuántas caras haya en la escena. esa taberna La imagen con cuatro viajeros me costó 4 créditos y seis segundos. lo mismo La imagen me había costado dos noches volver a rodar antes de darme cuenta de esto.

Cuando la restauración facial no ayuda

Hay límites. Si una cara es más pequeña que aproximadamente 24x24 píxeles, no No hay suficiente información estructural para que ni siquiera un modelo especializado pueda trabajar con. El modelo necesita al menos una forma de rostro básica para realzar. un ojo, contorno de la nariz, posición de la boca. Si todo lo que puede ver es un mancha de color carne, el resultado seguirá pareciendo una mancha. tal vez un Una mancha un poco más detallada, pero una mancha.

Para esos casos, encontré una solución. Genere el mismo mensaje unos cuantos más veces. Elige la generación en la que sucedió esa cara específica salir mejor. Recórtelo y compóngalo en su imagen principal. el La iluminación y los colores suelen combinar bastante bien, y un nivel rápido el ajuste sella el trato. Luego realice una pasada de restauración de una sola cara. el compuesto para limpiar cualquier inconsistencia menor.

¿Es esto más trabajo que simplemente volver a liar? Sí, a corto plazo. pero lo haces una vez y listo. No más rezos a los dioses RNG por una generación donde todo se alinea. Tú tomas el control de la salida. en lugar de esperar que la IA tenga suerte.

Esto también corrige fotos reales.

Debo mencionar esto porque mucha gente no se da cuenta. el El mismo modelo de restauración de rostros que corrige rostros generados por IA también funciona. en fotografías reales. Fotografías familiares antiguas en las que los rostros aparecen suaves o borrosos. Tomas grupales con teléfonos inteligentes donde algunas personas estaban desenfocadas. Bajo imágenes de cámara digital de resolución de 2005. Al modelo no le importa de donde vino la imagen. Simplemente ve una cara y trata de hacerlo. más claro.

Probé esto en una foto borrosa de mis abuelos de la década de 1980. El original era una impresión del tamaño de una billetera escaneada a baja resolución. mi La cara del abuelo tenía unos 30 píxeles de ancho. la cara El pase de restauración recuperó sus ojos, la forma de su nariz, incluso la Ligera asimetría en su sonrisa. Mi mamá lloró cuando lo vio. eso por sí solo valía más que los 4 créditos que costaba.

Si estás cansado de tirar grandes composiciones porque las caras están rotos, intente realizar una pasada de restauración facial en su próximo generación. Es posible que ya tengas la imagen que deseas. solo necesita Las caras fijas.