Моя Зеркалка Пылится с Тех Пор, Как Я Понял, Как На Самом Деле Исправлять Фотографии с Телефона

У меня есть Sony A7III с объективом 24–70 мм f/2,8. Вся установка обошлась мне примерно в три тысячи долларов. В этом году я сделал с ним ровно одиннадцать фотографий. Одиннадцать. Между тем, в моей фотопленке iPhone 847 фотографий за тот же период. Лучшая камера — та, которая у вас есть с собой. Эту поговорку знают все. Но фотографии с камеры, которая у вас с собой, по-прежнему выглядят хуже, чем с камеры, стоящей у вас в шкафу, и это беспокоило меня уже много лет.

Около четырех месяцев назад я решил перестать чувствовать себя виноватым из-за того, что у меня нет с собой зеркалки, и вместо этого выяснить, смогу ли я сократить разрыв в качестве с помощью программного обеспечения. Датчики телефона крошечные. Линзы телефона пластиковые. Обработка изображений на телефоне предназначена для скорости и Instagram, а не для качества при полном увеличении. Но модели улучшения ИИ стали достаточно хорошими, и мне захотелось посмотреть, насколько близко я смогу подойти. Результаты меня удивили.

Я не собираюсь утверждать, что ИИ делает фотографию телефона неотличимой от фотографии зеркальной камеры при 100-процентном увеличении. Это не так. Физика размера сенсора и оптического стекла по-прежнему имеет значение. Но что касается того, как большинство людей на самом деле просматривают фотографии, на экранах и в виде мелких отпечатков, разрыв после улучшения ИИ намного меньше, чем я ожидал. Вот что я узнал за четыре месяца улучшения почти каждой фотографии, сделанной на телефоне.

Три вещи, в которых камеры телефонов постоянно ошибаются

За последние несколько лет телефонные камеры стали значительно лучше. Вычислительная фотография, многокадровое совмещение и обнаружение сцен с помощью искусственного интеллекта во многом закрыли пробел с помощью специализированных камер. Но есть три конкретные вещи, которые почти каждая фотография на телефоне ошибочна, и именно эти три вещи лучше всего исправляет ИИ-улучшение.

Во-первых, снижение шума. Датчики телефона крошечные. Чтобы получить пригодные для использования изображения при любом освещении, кроме яркого дневного света, телефоны применяют агрессивное шумоподавление. Это шумоподавление работает путем сглаживания областей изображения, где датчик обнаружил случайные отклонения. Проблема в том, что алгоритм шумоподавления не всегда может отличить шум от мелкой текстуры. Трава становится зеленым пятном. Текстура ткани исчезает. Кожа выглядит так, будто на ней установлен косметический фильтр. В телефоне видимая зернистость заменена видимым сглаживанием, и результат выглядит неестественно.

Во-вторых, чрезмерная резкость. После сглаживания шума телефоны повышают резкость, чтобы изображение снова выглядело четким. Это создает ореолы вокруг высококонтрастных краев. Посмотрите на фотографию здания на фоне яркого неба, сделанную на телефоне. Вы увидите тонкий белый контур вокруг линии крыши, где алгоритм повышения резкости усилил контраст. Края выглядят искусственно четкими, почти как плохой эффект HDR. Это телефон пытается компенсировать собственное шумоподавление, рисуя контуры вокруг всего.

В-третьих, сжатие динамического диапазона. Датчики телефона имеют ограниченный динамический диапазон. Яркие блики превращаются в белые, а темные тени превращаются в черные гораздо быстрее, чем это сделал бы датчик большего размера. Обработка телефона пытается компенсировать это, поднимая тени и вытягивая светлые участки, но часто это заходит слишком далеко. В результате получается плоское изображение, где все полутона серые. Никаких настоящих черных. Никакого яркого белого. Просто равномерная, плоская экспозиция, которой не хватает глубины.

Что на самом деле исправляет AI-улучшение на фотографии на телефоне

Модели масштабирования и улучшения искусственного интеллекта решают эти проблемы иначе, чем встроенная обработка вашего телефона. Ваш телефон обрабатывает данные за миллисекунды, потому что так и должно быть. Улучшение ИИ занимает секунды, потому что это возможно. Это дополнительное время обработки позволяет ИИ принимать более разумные решения о том, что такое текстура, а что — шум, что такое край, а что — артефакт сжатия.

Я проверил это на фотографии кирпичной стены, сделанной на моем iPhone. Исходный вывод телефона был таким, как и следовало ожидать. Кирпичи имели слегка размазанный вид из-за шумоподавления. Линии минометов имели слабые белые ореолы из-за чрезмерной заточки. Все изображение имело тот плоский, чрезмерно обработанный вид, который получаются на телефонных фотографиях при любом освещении, кроме идеального. Я прогнал его через 2-кратное увеличение, используяClarifyPix AI-апскейлинги разница была сразу видна.

Кирпичная текстура вернулась. Не идеально. Частично ИИ предсказывал, что там должно быть, вместо того, чтобы восстанавливать то, что было на самом деле. Но общее впечатление осталось от фотографии, на которой видна поверхность кирпича, а не от фотографии, где кирпичи разглажены в оранжевые прямоугольники. Минометные линии были чистыми, без ореолов. Цвета были более глубокими, потому что ИИ не выравнивал контраст, как это делала обработка телефона.

По сути, ИИ устраняет повреждения, нанесенные конвейеру обработки данных телефона. Датчик собрал достаточно информации. Объектив разрешил достаточно деталей. Но процессор сигналов изображения телефона пошел на компромисс в отношении скорости и размера файла, что привело к потере полезной текстуры и контраста. Улучшение ИИ восстанавливает часть того, что было потеряно.

Не каждая фотография на телефоне нуждается в улучшении

После четырех месяцев обработки примерно трети фотографий, сделанных на телефоне, я научился быть избирательным. Некоторые фотографии значительно выигрывают от улучшения AI. Другие после улучшения выглядят хуже, потому что ИИ добавляет посторонние детали. Знание того, что есть то, сэкономило мне много кредитов и много плохих результатов.

Больше всего пользы принесут фотографии со сложными природными текстурами. Кирпич, камень, дерево, ткань, листва, волосы, мех. Это текстуры, которые разрушает шумоподавление телефона и восстанавливает улучшение AI. Фотография лесной подстилки после улучшения AI покажет отдельные листья и текстуру мха, которые при обработке телефоном превратились в зеленую кашу. Портрет покажет реальную текстуру кожи вместо сглаженного результата обработки красоты телефона, которая обычно включена по умолчанию, хотите вы этого или нет.

Фотографии с большими гладкими областями выигрывают меньше всего. Фотография голубого неба с единственным облаком. Фотография спокойного озера на закате. Фото белой стены. Начнем с того, что эти изображения не имеют очень тонкой текстуры. ИИ нечего восстанавливать и нечего затачивать. Вы можете получить небольшое улучшение динамического диапазона, но разница будет незначительной, вплоть до невидимой. Сохраните свои кредиты для фотографий с текстурой.

Фотографии с человеческими лицами — особый случай. Обычные средства масштабирования ИИ могут сделать лица немного неестественными, поскольку они обрабатывают черты лица так же, как и любую другую текстуру. Специальный этап восстановления лица после того, как общий апскейл исправит это. Модель лица была специально обучена на человеческих лицах и достаточно хорошо понимает анатомию, чтобы ее можно было улучшить без искажений. Стоимость увеличивается, если вы делаете это для каждой фотографии, но для портретов, которые вам интересны, двухпроходной подход того стоит.

Насколько он на самом деле близок к зеркальной камере?

Я провел прямое сравнение, которое следовало сделать вначале. Та же сцена. То же освещение. Тот же состав. Одна фотография, сделанная на iPhone и улучшенная с помощью искусственного интеллекта. Одна фотография, сделанная на мою Sony A7III с эквивалентным фокусным расстоянием и выдержкой, нормально обработанная в Lightroom, но без улучшения AI. Потом я сравнил их рядом.

Результаты оказались ближе, чем я ожидал. Учитывая размер Instagram, примерно 2000 пикселей в ширину, я действительно не мог сказать, что есть что, при слепом сравнении. Подруга, профессиональный фотограф, поняла это правильно примерно в 60 процентах случаев, когда я показал ей десять пар. Это едва ли лучше, чем случайное предположение. Она сказала, что ей нужны различия в глубине резкости и тонкая цветопередача, чтобы отличать их друг от друга, а не резкость или детализация.

При 100-процентном увеличении на мониторе 4K различия становятся заметными. Фотография, сделанная зеркальной камерой, имеет более мелкие детали в отдаленных текстурах. Фотография телефона, улучшенная искусственным интеллектом, имеет незначительное качество обработки в мельчайших деталях. Резкость есть, но она выглядит созданной, а не запечатленной. Это трудно описать. Это что-то вроде разницы между текстурой настоящей кожи и очень хорошей ее визуализацией. При обычных размерах просмотра вы этого не увидите. При полном увеличении можно.

Для отпечатков порог составляет около 8x10 дюймов. Фотография с телефона, улучшенная искусственным интеллектом, напечатанная в размере 8x10, выглядит хорошо. Достаточно остро, чтобы большинство людей не усомнились в этом. Выше 11x14 различия начинают проявляться. Фотография с зеркалки держится. Фотография с телефона начинает выглядеть немного мягкой даже после улучшения, потому что изначально не было необходимого разрешения объектива. ИИ может улучшить то, что зафиксировал датчик. Он не может создать оптическое разрешение, которое никогда не было разрешено объективом.

Настройки, которые действительно имеют значение при съемке для улучшения ИИ

Если вы знаете, что позже собираетесь обработать фотографию с помощью искусственного интеллекта, вам следует снимать иначе, чем для фотографии, которую вы планируете опубликовать прямо с телефона. Я кое-что изменил в том, как использую камеру телефона, и это заметно изменило результаты улучшения.

Отключите режим красоты вашего телефона и все функции улучшения сцены AI. Они применяют дополнительную обработку поверх стандартного конвейера шумоподавления и повышения резкости, и модель улучшения AI должна отменить все это, прежде чем она сможет начать улучшать изображение. Чем меньше обработки выполняет ваш телефон, тем ближе ИИ получает необработанные данные датчиков и тем лучше конечный результат. На iPhone это означает отключение фотографических стилей и использование стороннего приложения камеры, которое сохраняет файлы в менее обработанном формате. На Android отключите оптимизатор сцены и режим красоты.

Снимайте при лучшем освещении, какое только можете. Улучшение искусственного интеллекта великолепно восстанавливает текстуры и снижает шум, но у него есть пределы. Фотография, сделанная при хорошем дневном освещении, станет еще лучше. Фотография, сделанная в темном ресторане, улучшится только до момента, когда ИИ начнет придумывать детали, которые выглядят искусственными. Чем лучше ваше исходное изображение, тем лучше будет его улучшение. Я знаю, это очевидный совет, но легко разлениться, если знаешь, что можно исправить ситуацию при публикации.

Используйте основную камеру, а не сверхширокоугольную или телеобъектив, если они есть в вашем телефоне. Производители телефонов впихивают в устройство несколько камер, но сенсоры в сверхширокоугольном и телеобъективном модулях обычно меньше и хуже по качеству, чем основной сенсор. Основная камера создает самый чистый исходный файл для улучшения AI. В частности, сверхширокий режим создает мягкие края и заметные искажения, которые AI-улучшение не может полностью исправить.

Держите телефон устойчиво. Стабилизация изображения на телефоне хороша, но это не волшебство. Фотография даже с небольшим размытием изображения потеряла информацию, которую не может восстановить AI-улучшение. ИИ постарается, и в результате получится более резкое размытие, которое все равно выглядит нечетким. По возможности прикрепите телефон к чему-нибудь твердому. Это имеет большее значение, чем любая настройка программного обеспечения.

Пакетный рабочий процесс очистки фотопленки

После того, как я получил хорошие результаты на нескольких тестовых фотографиях, я снова просмотрел свою фотопленку и улучшил около сорока фотографий прошлого года. Фотографии, которые я сделал и забыл, потому что в то время они выглядели посредственно. Пейзаж из похода, ровный и шумный. Портрет моей девушки, который телефон превратил в пластик. Городская улица в сумерках, где тени превратились в черноту.

Я обрабатывал их пакетами, используя план Pro, который включает пакетную обработку. Выбирали от пяти до десяти фотографий одновременно, увеличивали их в 2 раза, затем выборочно проверяли лица и выполняли дополнительные этапы восстановления лиц на портретах. Общая стоимость составила около 2 кредитов за фотографию для фото без лиц и 6 кредитов для фото с лицами. Примерно из сорока фотографий это составило около 160 кредитов. План Pro с 500 кредитами покрывает это, но есть место для гораздо большего.

Пакетный подход превратил утомительный ручной процесс в то, чем я мог заниматься во время приготовления кофе. Загрузите пакет, дайте ИИ все обработать, загрузите расширенные версии и проверьте их позже. Повышение эффективности по сравнению с выполнением их по одному было значительным. Если вам нужно улучшить много фотографий с телефона, пакетная обработка нежелательна. В этом разница между тем, чтобы действительно сделать это, и тем, чтобы никогда не дойти до этого.

Моя зеркалка все еще в шкафу. Вероятно, я возьму его с собой в следующую поездку специально для фотографии. Но для повседневных фотографий сочетание современной камеры телефона и улучшений искусственного интеллекта становится достаточно близким, и я больше не чувствую себя компромиссом. Телефон у меня. Зеркальная камера - нет. И теперь фотографии с телефона выглядят достаточно хорошо, и я не скучаю по зеркалке так сильно, как думал.