祖父の1927年の肖像画をAIで修復し、家族が40年ぶりに彼の顔をはっきりと見ることができた

私の祖父は 1923 年に湖南省の小さな村で生まれました。 彼の子供の頃の写真がちょうど1枚あります。 それはおそらく 2 × 3 インチの白黒プリントで、1927 年頃、彼が 4 歳のときに撮影されたものです。 私が覚えている限り、その写真は祖母のアパートにある黄ばんだアルバムの中にテープで留められており、何十年もの蛍光灯の下でゆっくりと色あせていきました。

去年の春に私がそれを手に入れた時には、彼の顔はかろうじて識別できるほどでした。 彼の目には二つの黒い影があった。 彼の口にはかすかな線があった。 写真の左 3 分の 1 は、1980 年代のある時期に起こった漏水による茶色の水垢で覆われていました。 祖母は、40年以上その写真で彼の顔をはっきりと見ることができなかったと私に言いました。

私はそれを復元する方法を学ぶのに3週間を費やしました。 途中でたくさんの間違いを犯しました。 最初の試みで彼を削りすぎて蝋人形にしてしまいました。 2 回目の試行では、AI に足りない部分を補わせすぎたので、彼はまったく別の子供のように見えました。 しかし、4 回目の試行までに、実際に機能するワークフローができました。 完成版を祖母に見せたところ、祖母は指先で画面を触ったまま、長い間何も言わなかった。

携帯電話の写真ではなく、適切なスキャンから始めます

私の最初の間違いは、携帯電話のカメラで撮った写真を復元しようとしたことでした。 私はiPhoneをアルバムの上にかざし、しっかりと固定しようとして写真を撮りました。 私が試した AI 修復ツールでは、あまり効果がありませんでした。携帯電話で撮影した写真には、元の損傷に加えて、反射、不均一な照明、微妙な角度、および独自の圧縮アーティファクトが生じているためです。

実際にうまくいったのは、フラットベッド スキャナーを使用することでした。 地元の図書館からCanon CanoScanを借りました。 費用はかかりませんでした。 オリジナルのプリントを 600 DPI でスキャンし、TIFF として保存しました。これが私の出発点となりました。 違いはすぐに分かりました。 スキャンでは、携帯電話のカメラでは完全に見逃していた細部が捉えられました。 紙の小さなテクスチャー。 AI が後でその下にあったものを再構築するために使用できる、フェードの微妙な変化。

スキャナーにアクセスできない場合でも、最後の手段として携帯電話の写真を使用できます。 ただし、写真をテーブルの上に平らに置き、窓からの自然光を利用し、携帯電話を写真と完全に平行に保ち、TIFF または少なくとも高品質の PNG として保存できるアプリを使用する必要があります。 デフォルトのカメラアプリ JPEG は使用しないでください。 圧縮すると、元に戻すことのできない詳細な情報が発生します。

AIに何かを与える前に大きなダメージを修正してください

AI 復元モデルは、そこにあるものを強化するように設計されています。 完全に破壊された情報を再構築するようには設計されていません。 写真に破れがある場合、画像の 3 分の 1 を覆う水染み、またはひどい折り目がある場合、AI は他のすべてを復元するのと同じ方法で、それらの損傷部分を復元しようとします。 涙の端を鋭くします。 水垢の質感を高めます。 ダメージをより鮮明かつ永続的に見せることができます。

まず、通常のフォトエディターで基本的なクリーンアップを行う方法を学びました。 祖父の写真では、クローン スタンプ ツールを使用して、背景の損傷していない部分のテクスチャでひどい水染みを埋めました。 完璧にしようとはしませんでした。 目標は、AI が損傷を重要な画像の詳細として扱わないように、損傷の粗いエッジを除去することだけでした。 10 分間の不器用なクローンスタンプのおかげで、その後 AI と何時間も戦う必要がなくなりました。

破れや折り目にも同じ原理が当てはまります。 基本的な編集ツールを使用して、物理的なダメージをできる限り滑らかにします。 AI に、破損しているが詳細な出発点ではなく、きれいだがぼやけた出発点を与えます。 AI はダメージを処理するよりもブラーをはるかにうまく処理します。

1パスではなく2パス

私のワークフローにおける最大の進歩は、すべてを 1 つのステップで実行しようとするのをやめたときに起こりました。 初期の頃、私は一般的な修復ツールで写真を実行し、すべてが一度に修復されることを期待していました。 決してそうではありませんでした。 背景は素晴らしく見えますが、顔はワックス状になります。 または、顔はシャープに見えますが、衣服のテクスチャは滑らかなグラデーションに消去されます。

実際に機能したのは、ジョブを 2 つの別々のパスに分割することでした。 最初のパス、ClarifyPix の古い写真の復元。 これは全体的なクリーンアップを処理します。 画像全体のほこり、傷、色あせ、一般的な劣化を除去します。 写真全体のコントラストと鮮明さを新品時の状態に戻します。 このパスの料金は 10 クレジットで、標準のスキャン画像の場合は約 10 秒かかります。

2パス目、顔の修復。 写真全体が適切に見えたら、顔だけに専用の顔復元モデルを実行します。 このモデルは何百万もの人間の顔について特別にトレーニングされたため、顔の解剖学を理解しています。 目がお互いのどこに位置するかを知っています。 背景や衣服に触れることなく、瞳孔、まつげ、リップライン、肌の質感を復元します。 このパスの料金は画像ごとに 4 クレジットで、所要時間は約 5 秒です。

2 つのパスを組み合わせることで、1 つのパスでは決してできなかったことを実行できます。 一般的な修復では、写真が印刷される媒体を修正します。 顔の修復により、写真内の人物が修正されます。 これらは根本的に異なる問題であり、根本的に異なるツールが必要です。

カラー化は別の決定です

白黒画像を保存状態の良い 1927 年の写真のように復元した後、カラー化するかどうかを決定する必要がありました。 これは思っているよりも難しいことです。 白黒写真にはある種の重みがあります。 歴史を感じます。 カラー化されたバージョンでは感じられない点で、本物のように感じられます。

おじいちゃんの似顔絵をカラーにしてみました。 AIは技術的に良い仕事をしてくれました。 肌の色が自然に見えました。 背景の葉も適切な緑色になりました。 彼の服は、もっともらしい濃紺の色合いでした。 しかし、何かが違っていました。 カラー化されたバージョンは、実際の写真ではなく、時代劇のスチールのように見えました。 古い質感が失われていました。 私の祖母は白黒バージョンの方が好きでした。

私自身の家族のアーカイブとして、両方を保管しています。 復元された白黒バージョンは、私が印刷して額装したものです。 カラー化されたバージョンは、「experiments」というラベルの付いたデジタル フォルダーに保存されています。 発色が綺麗に撮れる写真もあります。 特に屋外のシーンやグループ写真では、色情報によって衣服、設定、季節に関する有用なコンテキストが追加されます。 しかし、ポートレートの場合は、元の白黒のほうがうまく機能することが多いことがわかりました。 走行距離は写真によって異なります。

オリジナルスキャンをどうするか

警告したい間違いを犯しました。 4 回目の試行で満足のいくバージョンが生成された後、以前に失敗した試行と元のスキャンをほとんど削除しました。 私の考えは、今は良いバージョンを持っているのに、なぜ悪いバージョンを保持する必要があるのか​​ということでした。 その考えは間違っています。

AI復元は解釈です。 復元されたすべての写真は、モデルが元の写真がどのようなものであったかを最もよく推測したものになります。 これは、何百万もの実際の写真に基づいて訓練された、非常に知識に基づいた推測です。 しかし、それはまだ推測です。 系図作成の目的では、元のスキャンが歴史的記録となります。 復元されたバージョンは視覚的な補助です。 まだ存在しない将来の AI モデルは、同じ元のスキャンでより良い結果をもたらす可能性があります。 オリジナルを削除すると、その可能性は永久に失われます。

私は現在、復元したすべての写真の 3 つのバージョンを保存しています。 オリジナルの高解像度スキャンは TIFF として「originals」というフォルダーに保存されます。 「復元済み」の PNG として復元されたバージョン。 そして、家族に送信する「共有」内の小さな JPEG コピー。 元のスキャンは 2 つの異なるクラウド サービスにバックアップされます。 私の祖母が夫の幼少期の顔を再び見ることができるようになったのは、公共図書館のスキャナーでスキャンしたことから始まりました。 その TIFF ファイルは、現在私が所有する最も貴重なデジタル ファイルです。

復元した写真を家族のために印刷する

満足のいく復元版ができたら、それを印刷して祖母が物理的なコピーを手にできるようにしたいと思いました。 これにより、私が考えもしなかったまったく新しい一連の問題が発生しました。

元の写真は約2×3インチでした。 彼女が虫眼鏡を使わずに細部を見ることができるように、それを 5 × 7 で印刷したかったのです。 つまり、復元された画像を 300 DPI の 2100x1500 ピクセルにアップスケールする必要がありました。 復元により品質は大幅に向上しましたが、元のサイズでは、600 DPI スキャンのピクセル数はまだ約 1200x800 にすぎませんでした。 きれいな 5x7 プリントを取得するには、さらにアップスケールする必要がありました。

すでに復元された画像に対する 2 回目の AI アップスケーリングは、驚くほどうまくいきました。 4x アップスケールにより、復元バージョンは 4800x3200 ピクセルになり、300 DPI の 5x7 には十分以上です。 地元の写真ラボでマット紙にプリントしてもらいました。 光沢のある紙は残った欠陥を強調する傾向があるのに対し、マットな紙はより寛容で、ビンテージ写真に適した時代に見えるため、マット仕上げが重要でした。 プリントを含めた総費用は約 18 ドルでしたが、祖母の表情にはそれをはるかに上回る価値がありました。

アルバム全体を扱う方法

祖父の肖像画が成功した後、私は野心を抱くようになりました。 私の祖母は、1920 年代から 1970 年代までの古い家族の写真、おそらく合計 200 枚の写真が詰まった 4 枚のアルバムを持っています。 完全な 2 パスのワークフローでそれらを一度に 1 つずつ復元するには、数か月かかります。

コレクションを優先順位付けしました。 顔のある写真は完全な 2 パス処理を受けました。 一般的な修復と顔の修復。 コストはそれぞれ約 14 クレジットでした。 風景や建物などの顔のない写真は、10 クレジットで一般修復の 1 回のパスが得られました。 すでにそれなりの形になっていた写真は完全に放置していました。 すべての写真に AI 修復が必要なわけではありません。 オリジナルのスキャンが通常の表示サイズで適切に見える場合、復元は贅沢であり、必須ではありません。

バッチスキャンを効率的に行う方法も学びました。 ほとんどのフラットベッド スキャナでは、一度に 3 ～ 4 枚の小さな写真を挿入できます。 これらすべてを 1 つの大きな TIFF としてスキャンし、後で個別のファイルに分割します。 これにより、100 枚の写真のスキャン時間を数時間から約 40 分に短縮できました。 スキャンは面倒な部分です。 AIの復元は楽しい部分です。 スキャンのボトルネックによって楽しい部分に到達できないことがないようにしてください。

何年も見ていない古い家族の写真がアルバムに眠っている場合は、それらを取り出して、最も重要な写真をスキャンしてください。 顔が見えにくい写真から始めます。 これらは、AI 復元が最も大きな違いを生むものです。 色あせたプリントの中に何がまだ隠されていて、適切なツールがそれを取り戻すのを待っていることに驚かれるかもしれません。