スマホ写真を実際に修正する方法を見つけてから、私の一眼レフは埃をかぶっている

私は 24-70mm f/2.8 レンズを搭載した Sony A7III を所有しています。 セットアップ全体で約 3,000 ドルかかりました。 今年はちょうど11枚の写真を撮りました。 十一。 一方、私の iPhone のカメラロールには、同じ時期の写真が 847 枚あります。 あなたが持っているカメラが最高のカメラです。 誰もがその格言を知っています。 しかし、あなたが持っているカメラで撮った写真は、クローゼットの中に眠っているカメラよりも写りが悪く、それが私を何年も悩ませてきました。

約 4 か月前、私はデジタル一眼レフカメラを持ち歩かないことに罪悪感を感じるのをやめ、代わりにソフトウェアで品質の差を縮められるかどうか考えることにしました。 携帯電話のセンサーは小さいです。 携帯電話のレンズはプラスチックです。 携帯電話の画像処理は、フルズームでの品質ではなく、速度と Instagram を目的として設計されています。 しかし、AI 強化モデルは十分に優れているため、どこまで近づけるかを試してみたいと思いました。 その結果は私を驚かせました。

私は、AI によって携帯電話の写真が 100% ズームのデジタル一眼レフカメラと見分けがつかなくなると主張するつもりはありません。 そうではありません。 センサーサイズと光学ガラスの物理学は依然として重要です。 しかし、ほとんどの人が実際に画面上や小さなプリントで写真を閲覧する方法については、AI の強化後のギャップは私が予想していたよりもはるかに小さいです。 これは、私が撮ったほぼすべての携帯電話の写真を 4 か月間加工して学んだことです。

携帯電話のカメラが常に間違っている 3 つの点

携帯電話のカメラはここ数年で著しく性能が向上しました。 コンピューテーショナル フォトグラフィー、マルチフレーム スタッキング、AI を活用したシーン検出により、専用カメラとのギャップが大幅に縮まりました。 しかし、ほぼすべての携帯電話の写真が間違っていることが 3 つあります。これら 3 つは、AI 強化によって最もよく修正されるものです。

まずはノイズ低減。 携帯電話のセンサーは小さいです。 明るい日中以外でも使用可能な画像を取得するために、携帯電話は積極的なノイズリダクションを適用します。 このノイズ低減は、センサーがランダムな変動を検出した画像の領域を滑らかにすることによって機能します。 問題は、ノイズ低減アルゴリズムがノイズと細かいテクスチャの違いを常に区別できるわけではないことです。 草が緑のぼかしになります。 生地の質感が消えてしまいます。 まるで美容フィルターがかかったような肌に見えます。 この携帯電話は、目に見える粒子を目に見えるスムージングと引き換えに、その結​​果が不自然に見えます。

2つ目は、削りすぎです。 ノイズを滑らかにした後、携帯電話はシャープ化を適用して、画像を再び鮮明に見せます。 これにより、高コントラストのエッジの周囲にハローが作成されます。 明るい空を背景にした建物の携帯電話の写真を見てください。 シャープ化アルゴリズムによってコントラストが高められたルーフラインの周囲に、薄い白い輪郭が表示されます。 エッジは人工的に鮮明に見え、まるで悪い HDR 効果のように見えます。 これは、すべての周囲に輪郭を描くことで、電話自体のノイズ低減を補おうとしている電話です。

第三に、ダイナミックレンジの圧縮です。 電話センサーのダイナミック レンジは限られています。 大きなセンサーよりもはるかに速く、明るいハイライトは白に飛び、暗い影は黒に潰されます。 電話処理では、シャドウを持ち上げたりハイライトを引いたりすることで補正しようとしますが、行き過ぎてしまうことがよくあります。 結果は、すべてが中間調のグレーの平らな画像になります。 本物の黒人はいない。 明るい白はありません。 奥行きのない均一で平坦な露出です。

AI 強化によって実際に携帯電話の写真が修正される内容

AI のアップスケーリングおよび拡張モデルは、携帯電話の組み込み処理とは異なる方法でこれらの問題にアプローチします。 携帯電話はミリ秒単位で処理する必要があるため、処理を行います。 AI の強化には数秒かかるため、それが可能です。 この追加の処理時間により、AI はテクスチャとノイズ、エッジとは何か、圧縮アーティファクトとは何かについて、より賢明な判断を下せるようになります。

iPhone で撮ったレンガの壁の写真を使ってこれをテストしてみました。 元の電話出力は期待どおりのものでした。 レンガはノイズ低減によりわずかに汚れたように見えました。 モルタルのラインには、削りすぎたためにかすかに白いハローが発生していました。 画像全体は、携帯電話の写真が完璧な光では得られないような、平坦で過度に処理された外観になっていました。 私はそれを使用して2xアップスケールを通して実行しましたClearPix AI アップスケーリングそしてその違いはすぐに分かりました。

レンガの質感が戻ってきました。 完璧ではありません。 細かい点としては、AI が実際にそこにあったものを復元するのではなく、そこにあるべきものを予測するという点でした。 しかし、全体の印象はレンガをオレンジ色の長方形に滑らかにした写真ではなく、レンガの表面が見える写真でした。 モルタルのラインはハローがなくきれいでした。 AI は電話処理のようにコントラストを平坦化しなかったため、色に深みが増しました。

AI は基本的に、携帯電話の処理パイプラインからのダメージを元に戻します。 センサーは十分な情報を捕捉しました。 レンズは十分なディテールを解像しました。 しかし、携帯電話の画像信号プロセッサは速度とファイル サイズを犠牲にし、有用なテクスチャとコントラストを捨ててしまいました。 AIの強化により、失われたものの一部が回復します。

すべての携帯電話の写真に補正が必要なわけではありません

携帯電話で撮った写真の約 3 分の 1 を 4 か月間補正し続けた結果、厳選することができるようになりました。 一部の写真は AI の強化によって大幅に恩恵を受けています。 AI が属さないディテールを追加するため、強化後に見栄えが悪くなるものもあります。 どれがどれであるかを知ることで、多くの功績と多くの悪い結果を救うことができました。

複雑な自然なテクスチャを持つ写真が最も効果的です。 レンガ、石、木、布地、葉、髪、毛皮。 これらは、電話のノイズ リダクションによって破壊され、AI エンハンスメントによって回復されるテクスチャです。 AI 強化後の林床の写真には、電話処理によって緑色のドロドロになった個々の葉と苔のテクスチャが表示されます。 ポートレートには、携帯電話の美容処理による滑らかな結果ではなく、実際の肌のテクスチャが表示されます。美容処理は通常、望むか否かに関係なくデフォルトでオンになっています。

滑らかな領域が大きい写真では、効果がほとんどありません。 雲一つある青空の写真。 夕暮れ時の静かな湖の写真。 白い壁の写真です。 これらの画像には、そもそも細かいテクスチャがあまりありません。 AI には回復するものや研ぎ澄ますものは何もありません。 ダイナミック レンジがわずかに向上する可能性がありますが、その違いは目に見えないほどわずかです。 テクスチャ付きの写真のクレジットを保存します。

人間の顔が写った写真は特殊なケースです。 一般的な AI アップスケーラーは、顔の特徴を他のテクスチャと同じように扱うため、顔を少し不自然に見せることがあります。 一般的なアップスケールでこれを修正した後の専用の顔復元パス。 顔モデルは人間の顔に特化してトレーニングされており、解剖学を十分に理解しているため、歪ませることなく強化できます。 すべての写真に対してこれを実行するとコストがかさみますが、重要なポートレートの場合は 2 パスのアプローチに価値があります。

実際にDSLRにどれだけ近づけるのか

最初に行うべきだった直接比較を行いました。 同じシーンです。 同じ照明です。 同じ構成。 iPhone で撮影した 1 枚の写真を AI で強化しました。 Sony A7III で同等の焦点距離と露出で撮影した 1 枚の写真は、Lightroom で通常どおり処理されましたが、AI 補正は行われませんでした。 次に、それらを並べて比較してみました。

結果は予想より近かったです。 幅約 2000 ピクセルの Instagram のサイズでは、ブラインドで比較した場合、どちらがどれであるか本当にわかりませんでした。 プロの写真家である友人に 10 足を見せたところ、約 60 パーセントの確率で正解しました。 それはランダムな推測よりもわずかに優れています。 彼女は、シャープネスやディテールではなく、それらを区別するために被写界深度の違いと微妙な色の演出を探していたと語った。

4K モニターで 100% ズームすると、違いがはっきりとわかります。 デジタル一眼レフ写真では、遠くのテクスチャの細部がより細かく表示されます。 AI で強化された携帯電話の写真は、細部までわずかに加工された品質になっています。 鮮明さはありますが、捕らえられたというよりも生成されたように見えます。 説明するのは難しいです。 本物の革の質感と革の非常に優れたレンダリングの違いのようなものです。 通常の表示サイズでは見えません。 フルズームではそれが可能です。

プリントの場合、しきい値は約 8x10 インチです。 AI で強化された携帯電話の写真を 8x10 で印刷すると、見栄えがよくなります。 ほとんどの人が疑問を持たないほど鋭い。 11x14 を超えると、違いが現れ始めます。 デジタル一眼レフ写真は長持ちします。 携帯電話の写真は、補正後でもわずかに柔らかく見え始めます。これは、基礎となるレンズの解像度が最初から存在していないためです。 AI はセンサーが捉えたものを強化できます。 レンズでは決して解決できなかった光学的解像度を生み出すことはできません。

AI強化のための撮影時に実際に重要な設定

後で AI 補正を使用して写真を実行することがわかっている場合は、携帯電話から直接投稿する予定の写真とは異なる方法で撮影する必要があります。 携帯電話のカメラの使用方法をいくつか変更したところ、補正結果に顕著な違いが生じました。

携帯電話のビューティー モードと AI シーン拡張機能をオフにします。 これらは、標準のノイズ低減およびシャープ化パイプラインに追加の処理を適用するため、AI 強化モデルは画像の改善を開始する前にそのすべてを元に戻す必要があります。 スマートフォンの処理が少なくなるほど、AI は生のセンサー データに近づき、最終的な結果がより良くなります。 iPhone の場合、これは写真スタイルをオフにし、処理の少ない形式で保存するサードパーティのカメラ アプリを使用することを意味します。 Android では、シーン オプティマイザーとビューティー モードをオフにします。

できる限り最高の光の中で撮影してください。 AI 強化はテクスチャの回復とノイズの低減に優れていますが、限界があります。 明るい日差しの中で撮影した写真は美しく映えます。 薄暗いレストランで撮影された写真は、AI が人工的に見える詳細を発明し始める前の段階までしか改善されません。 開始時のイメージが優れているほど、拡張機能も向上します。 当然のアドバイスですが、事後的に修正できると分かっていると怠けがちになります。

携帯電話に超広角カメラや望遠カメラが搭載されている場合は、メインカメラではなく、メインカメラを使用してください。 携帯電話メーカーはデバイスに複数のカメラを詰め込みますが、超広角および望遠モジュールのセンサーは通常、メインセンサーよりも小さく、品質が低くなります。 メイン カメラは、AI 強化用の最もクリーンな開始ファイルを生成します。 特にウルトラワイドでは、AI エンハンスメントでは完全に補正できないソフト エッジと顕著な歪みが生成されます。

携帯電話をしっかりと持ちます。 携帯電話の手ぶれ補正は優れていますが、魔法ではありません。 わずかなモーションブラーのある写真でも、AI による強化では回復できない情報が失われています。 AI がそれを試み、その結果、見た目はまだぼやけているものの、より鮮明に見えるぼかしが得られます。 可能な限り、携帯電話を何か固いものに固定してください。 これは、どのソフトウェア設定よりも大きな違いをもたらします。

カメラロールをクリーンアップするためのバッチワークフロー

数枚のテスト写真で良い結果が得られた後、カメラロールを遡って、過去 1 年間に撮影した約 40 枚の写真を補正しました。 当時は平凡に見えたので、撮ったまま忘れていた写真。 平坦で騒がしいハイキングの風景。 携帯電話がプラスチックのように滑らかにしてくれたガールフレンドの肖像画。 影が黒く潰れた夕暮れの街路。

バッチ処理を含む Pro プランを使用してバッチで処理しました。 一度に 5 ～ 10 枚の写真を選択し、すべての写真に対して 2 倍のアップスケールを実行し、顔のスポット チェックを行って、ポートレートに対して追加の顔復元パスを実行しました。 合計費用は、顔のない写真では 1 枚あたり約 2 クレジット、顔のある写真では 6 クレジットでした。 写真約 40 枚で、合計約 160 クレジットになります。 500 クレジット付きの Pro プランでは、さらに多くのクレジットを利用できる余地があります。

バッチ手法により、面倒な手動プロセスがコーヒーを淹れながら実行できるものに変わりました。 バッチをアップロードし、AI にすべてを処理させ、拡張バージョンをダウンロードして、後で確認します。 一度に 1 つずつ行う場合に比べて効率が大幅に向上しました。 補正したい携帯電話の写真がたくさんある場合、バッチ処理は好ましくありません。 それは、実際にやるのと、まったく取り組まないのとの違いです。

私のデジタル一眼レフはまだクローゼットの中にあります。 次回の写真撮影専用の旅行にはおそらく持ち出すことになるでしょう。 しかし、日常の写真では、最新の携帯電話のカメラと AI の強化の組み合わせがかなり近づいているので、もはや妥協しているとは感じません。 電話は私と一緒です。 デジタル一眼レフカメラはそうではありません。 そして今では、携帯電話の写真は十分に良く見えるので、思ったほどデジタル一眼レフカメラが恋しくなることはありません。