Я Восстановил Портрет Моего Деда 1927 Года с Помощью ИИ, и Моя Семья Увидела Его Лицо Четко Впервые за 40 Лет

Мой дедушка родился в 1923 году в маленькой деревне в провинции Хунань. Есть ровно одна его фотография в детстве. Это черно-белый снимок размером примерно два на три дюйма, сделанный примерно в 1927 году, когда ему было четыре года. Сколько я себя помню, эта фотография хранилась внутри пожелтевшего альбома в квартире моей бабушки и медленно тускнела под десятилетиями флуоресцентного света.

Когда прошлой весной он попал мне в руки, его лицо едва можно было разглядеть. Его глаза представляли собой две темные тени. Его рот представлял собой тонкую линию. Левая треть фотографии была покрыта коричневым пятном от воды из-за протечки, произошедшей где-то в 1980-х годах. Моя бабушка рассказала мне, что она не могла ясно разглядеть его лицо на этой фотографии уже более сорока лет.

Я потратил три недели на то, чтобы научиться его восстанавливать. По пути я совершил много ошибок. С первой попытки я заострил его до восковой фигуры. Со второй попытки я позволил ИИ заполнить слишком много недостающих деталей, и он стал выглядеть совершенно другим ребенком. Но к четвертой попытке у меня был рабочий процесс, который действительно работал. Когда я показал финальную версию бабушке, она коснулась экрана кончиками пальцев и долго ничего не говорила.

Начните с хорошего скана, а не с фотографии на телефоне

Моей первой ошибкой была попытка восстановить фотографию, сделанную камерой телефона. Я поднес свой iPhone к альбому, постарался держать его ровно и сфотографировал. Инструменты восстановления искусственного интеллекта, которые я пробовал, не смогли с этим справиться, потому что фотографии с телефона содержат отражения, неравномерное освещение, тонкие углы и собственные артефакты сжатия помимо исходных повреждений.

Что действительно сработало, так это использование планшетного сканера. Я взял Canon CanoScan в местной библиотеке. Мне это ничего не стоило. Я отсканировал исходный отпечаток с разрешением 600 точек на дюйм, сохранил его в формате TIFF, и это стало моей отправной точкой. Разница была немедленной. Сканирование уловило детали, которые камера моего телефона полностью упустила. Мелкая текстура бумаги. Тонкие вариации затемнения, которые ИИ позже сможет использовать, чтобы реконструировать то, что находилось под ними.

Если у вас нет доступа к сканеру, фотография с телефона все равно может помочь в крайнем случае. Но вам нужно положить фотографию на стол, использовать естественный дневной свет из окна, держать телефон идеально параллельно фотографии и использовать приложение, которое позволяет сохранять ее в формате TIFF или, по крайней мере, в формате PNG высокого качества. Не используйте стандартный JPEG приложения камеры. Сжатие будет стоить вам деталей, которые вы не сможете вернуть.

Исправьте большой урон, прежде чем скормить что-либо ИИ.

Модели восстановления искусственного интеллекта предназначены для улучшения того, что есть. Они не предназначены для восстановления информации, которая была полностью уничтожена. Если на фотографии есть разрыв, пятно от воды, покрывающее треть изображения, или сильные складки, ИИ попытается восстановить эти поврежденные участки так же, как он восстанавливает все остальное. Это заострит края разрыва. Это улучшит текстуру водного пятна. Это сделает повреждение более острым и постоянным.

Сначала я научился выполнять базовую очистку в обычном фоторедакторе. Для фотографии моего дедушки я использовал инструмент «Штамп», чтобы заполнить худшие участки водяного пятна текстурой из неповрежденных частей фона. Я не пытался сделать его идеальным. Целью было просто убрать резкие края повреждений, чтобы ИИ не воспринимал их как важную деталь изображения. Десять минут неуклюжего топота клонов сэкономили мне часы борьбы с ИИ позже.

Для разрывов и складок применяется тот же принцип. Максимально сгладьте физические повреждения с помощью базовых инструментов редактирования. Дайте ИИ чистую, но размытую отправную точку, а не поврежденную, но детализированную. ИИ справляется с размытием гораздо лучше, чем с повреждениями.

Два прохода, а не один

Самый большой прорыв в моем рабочем процессе произошел, когда я перестал пытаться сделать все за один шаг. Вначале я пропускал фотографию через обычный инструмент восстановления и надеялся, что он исправит все сразу. Никогда этого не происходило. Фон будет выглядеть великолепно, но лицо будет восковым. Или лицо будет выглядеть четким, но текстуры одежды будут стираться и превращаться в плавные градиенты.

Что действительно сработало, так это разделение задания на два отдельных прохода. Первый проход,ClarifyPix восстановление старых фотографий. Это обеспечивает общую очистку. Он удаляет пыль, царапины, выцветание и общее ухудшение качества всего изображения. Это возвращает общий контраст и резкость, которые были у фотографии, когда она была новой. Этот пропуск стоит 10 кредитов и занимает около десяти секунд для стандартного отсканированного изображения.

Второй проход, восстановление лица. Как только фотография в целом выглядит прилично, я запускаю специальную модель восстановления лица только на лицах. Эта модель была специально обучена на миллионах человеческих лиц, поэтому она понимает анатомию лица. Он знает, где расположены глаза относительно друг друга. Он восстанавливает зрачки, ресницы, линии губ и текстуру кожи, не затрагивая фон или одежду. Этот пропуск стоит 4 кредита за изображение и занимает около пяти секунд.

Два прохода вместе делают то, чего никогда не сможет сделать один проход. Общая реставрация фиксирует носитель, на котором напечатана фотография. Реставрация лица исправляет людей на фотографии. Это принципиально разные проблемы, и для их решения нужны принципиально разные инструменты.

Колоризация – отдельное решение

После того, как я восстановил черно-белое изображение во что-то, похожее на хорошо сохранившуюся фотографию 1927 года, мне пришлось решить, стоит ли его раскрашивать. Это сложнее, чем кажется. Черно-белые фотографии обладают определенной серьезностью. Они чувствуют себя историческими. Они кажутся реальными в отличие от раскрашенных версий.

Я попробовал раскрасить портрет дедушки. ИИ проделал технически хорошую работу. Цвет кожи выглядел естественным. Фоновая листва получилась соответствующей зелени. Его одежда была правдоподобного темно-синего оттенка. Но что-то пошло не так. Раскрашенная версия выглядела как кадр из исторической драмы, а не как настоящая фотография. Оно потеряло ощущение старости. Моя бабушка предпочитала черно-белый вариант.

В своем семейном архиве я храню оба. Восстановленную черно-белую версию я распечатал и поместил в рамку. Раскрашенная версия находится в цифровой папке с надписью «эксперименты». Некоторые фотографии прекрасно раскрашиваются. Особенно сцены на открытом воздухе и групповые фотографии, где информация о цвете добавляет полезный контекст об одежде, обстановке и времени года. Но я обнаружил, что портреты часто получаются лучше в исходном черно-белом исполнении. Ваш пробег будет зависеть от фотографии.

Что делать с оригинальным сканом

Я совершил ошибку, о которой хочу вас предупредить. После того, как моя четвертая попытка привела к созданию версии, которая меня устроила, я почти удалил предыдущие неудачные попытки и исходное сканирование. Я подумал, что теперь у меня есть хорошая версия, так зачем оставлять плохие. Это мнение ошибочно.

Восстановление ИИ — это интерпретация. Каждая восстановленная фотография — это лучшее предположение модели о том, как выглядел оригинал. Это очень обоснованное предположение, основанное на миллионах реальных фотографий. Но это все еще предположение. Для целей генеалогии исходное сканирование является исторической записью. Восстановленная версия является наглядным пособием. Будущие модели искусственного интеллекта, которых еще нет, возможно, лучше справятся с тем же исходным сканированием. Если вы удалите оригинал, вы потеряете эту возможность навсегда.

Теперь я храню три версии каждой восстанавливаемой фотографии. Оригинальный скан высокого разрешения в формате TIFF, хранящийся в папке «оригиналы». Восстановленная версия в формате PNG в «восстановленном». И небольшая копия в формате JPEG в «общем доступе», которую я отправляю членам семьи. Исходное сканирование сохраняется в двух разных облачных сервисах. Способность моей бабушки снова увидеть детское лицо своего мужа началась со сканирования, сделанного сканером публичной библиотеки. Этот файл TIFF теперь является самым ценным цифровым файлом, который у меня есть.

Печать отреставрированных фотографий для семьи

Когда у меня была восстановленная версия, которая меня устроила, я захотел распечатать ее, чтобы у моей бабушки была физическая копия. Это породило совершенно новый набор проблем, которые я не рассматривал.

Оригинальная фотография была размером примерно два на три дюйма. Я хотел распечатать его размером пять на семь, чтобы она могла рассмотреть детали без увеличительного стекла. Это означало, что мне нужно было повысить масштаб восстановленного изображения до 2100x1500 пикселей при разрешении 300 DPI. Реставрация значительно улучшила качество, но при исходном размере количество пикселей по-прежнему составляло всего около 1200x800 при сканировании с разрешением 600 точек на дюйм. Мне нужно было еще больше масштабировать его, чтобы получить чистый отпечаток 5x7.

Второй раунд ИИ-масштабирования уже восстановленного изображения сработал на удивление хорошо. 4-кратное повышение разрешения довело восстановленную версию до 4800x3200 пикселей, чего более чем достаточно для 5x7 при разрешении 300 DPI. Я распечатал его в местной фотолаборатории на матовой бумаге. Матовая поверхность была важна, потому что глянцевая бумага имеет тенденцию подчеркивать любые оставшиеся недостатки, в то время как матовая бумага более щадящая и выглядит более подходящей для старинных фотографий. Общая стоимость, включая отпечаток, составила около восемнадцати долларов, а выражение лица моей бабушки стоило значительно больше.

Как работать с целым альбомом

После успеха портрета дедушки у меня появились амбиции. У моей бабушки есть четыре альбома со старыми семейными фотографиями, всего около двухсот изображений, сделанных с 1920-х по 1970-е годы. Восстановление их всех по одному с помощью полного двухпроходного рабочего процесса заняло бы у меня месяцы.

Я отсортировал коллекцию. Фотографии с лицами прошли полную двухпроходную обработку. Общая реставрация плюс восстановление лица. Стоимость составляла около 14 кредитов каждый. Фотографии без лиц, такие как пейзажи и здания, прошли один проход общей реставрации за 10 кредитов. Фотографии, которые уже были в приличном состоянии, я оставил целиком. Не каждая фотография нуждается в восстановлении с помощью AI. Если исходный скан выглядит хорошо при обычном размере просмотра, восстановление — это роскошь, а не необходимость.

Я также научился эффективно выполнять пакетное сканирование. Большинство планшетных сканеров вмещают одновременно три-четыре небольших фотографии. Я сканирую их все как один большой TIFF, а позже разделяю на отдельные файлы. Это сократило время сканирования сотни фотографий с нескольких часов до примерно сорока минут. Сканирование — самая утомительная часть. Восстановление ИИ — самое интересное. Не позволяйте узким местам сканирования помешать вам перейти к самому интересному.

Если у вас в альбомах лежат старые семейные фотографии, которые вы не просматривали годами, вытащите их и отсканируйте те, которые наиболее важны. Начните с фотографий, на которых лица труднее всего рассмотреть. Именно здесь восстановление ИИ имеет наибольшее значение. Вы можете быть удивлены тем, что все еще скрывается в этих выцветших отпечатках и ждет, пока подходящий инструмент вернет это обратно.