1,000平方メートルにも及ぶ中国の永楽宮の壁画はAIで修復できるのか？

今日では、人工知能 (AI) は科学やビジネスの分野でますます利用されるようになっているだけでなく、芸術の分野でもその存在感を示し始めています。

終わりのないAI技術の進歩に人々が驚嘆する中、新たなAI壁画修復技術が登場した。

最近、中国古代壁画の傑作である永楽宮壁画の「修復困難」問題を解決するために、山西大同大学、マレーシア科学大学、大理大学の研究チームが、巨大壁画を修復できるAIモデル「3M-Hybrid」を提案した。

代表的な4つの畳み込みニューラルネットワーク（CNN）モデルの中で最良のモデルと比較すると、このモデルは、通常サイズの壁画の修復において、SSIMとPSNRをそれぞれ14.61%と4.73%向上させたと報告されています。さらに、巨大なフレスコ画の最終的な修復においても良い成果を達成しました。

「ユニークな巨大壁画の修復のための3Mハイブリッドモデル：永楽宮壁画のケーススタディ」と題された関連研究論文が、プレプリントウェブサイトarXivに掲載されました。

AIはどのようにして大規模な壁画を修復できるのでしょうか?

永楽宮壁画は、山西省瑞城市にある永楽宮（大春陽万寿宮とも呼ばれる）にあります。これらの壁画の中で最も価値があるのは、精巧に作られた大規模な壁画です。壁画全体は1,000平方メートル以上の面積をカバーし、無極殿、三清殿、春陽殿、重陽殿に描かれています。

永楽宮の壁画は貴重な文化遺産であり、中国絵画史上の傑作を代表するものです。しかし、長期にわたるメンテナンス不足により、これらのユニークな壁画には多くの欠陥が生じており、壁画の修復が緊急の課題となっています。

手動の修復技術と比較して、デジタル修復方法はより効率的で可逆的であり、特にディープラーニングベースの画像修復技術は顕著な成果を達成しています。しかし、ディープラーニングによる壁画修復に関する文献は、主に敦煌壁画などの通常サイズの壁画に焦点を当てており、永楽宮壁画や同様の巨大壁画の修復に特化した研究は不足しています。

壁画修復に関する他の研究と比較すると、巨大な永楽宮壁画の修復には 2 つの大きな課題があります。1) 永楽宮壁画の希少性と独特なスタイル。 2) 壁画の巨大さと、さまざまな種類や大きさの欠陥を修復するモデルの熟練度の限界。

図｜永楽宮壁画の被害の種類や規模は様々であり、実際の被害の形態はさらに多様である。

論文によれば、この研究で提案された3Mハイブリッドモデルは永楽宮の壁画を効果的に修復できるという。このうち、「3M」はマルチ周波数、マルチアングル、マルチスケールの3つの主要戦略を指し、「ハイブリッド」はハイブリッドCNN-VITネットワークを指します。

研究チームはまず、巨大な壁画を修復のために一定の大きさのセクションに分割し、その後、修復したセクションを元のサイズに再構築しました。従来サイズの壁画修復モデルが限られた画像データ量でさまざまな種類やサイズの欠陥を効果的に処理できるようにするために、この研究では、トレーニングデータの最適化とモデル構造の改善という2つの側面を考慮しました。

より優れた復元結果を得るために、本研究では、これらの高周波信号と低周波信号を学習および抽出するための独立したネットワークを採用し、特定の周波数範囲内での特徴学習および復元機能を強化しました。頻度ベースのトレーニング方法により、モデルはさまざまな規模や種類の欠陥を効果的に処理できるようになります。

モデル構造の面では、本研究では畳み込みニューラル ネットワーク (CNN) と事前トレーニング済みのビジュアル トランスフォーマー (VIT) を統合して、モデルの特徴抽出機能を強化しました。

さらに、巨大な壁画を修復する場合、基本的な切断方法では、特大の欠陥を修復する際に継ぎ目に隙間ができたり、構造的な歪みが生じたりする可能性があります。この問題に対処するため、研究チームはギャップを減らすために多角度戦略を採用し、切断と縮小の方法を組み合わせたマルチスケールアプローチを使用しました。これにより、壁画の全体的な構造の抽出が強化され、マルチスケールの欠陥の問題が解決されながら、正確な修復が保証されます。

可視化のパフォーマンスから、このモデルは、自由ダスト、自由ゲル、自由線形マスクの復元結果にかなりの効果を示しています。さらに、自由形式のブロックマスクの修復結果では、構造的完全性が維持され、妥当なテクスチャが示されます。 3M ハイブリッド モデルは、これらのユニークで大規模な壁画を修復するための実行可能な方法であることが証明されました。

しかし、この研究は完璧ではありません。

まず、提案された方法は、3 つのスケールの融合重みの最適値を選択するために複数の実験に依存します。ただし、重み設定の無数の可能性があり、実験の数が限られていることを考えると、このアプローチは十分に正確ではない可能性があります。したがって、実験結果に基づいて決定された重量値は、比較的好ましい最終結果のみを保証することができます。

第二に、研究で使用された評価指標は十分に客観的ではありません。現在使用されている 4 つの評価指標は、画像構造を包括的に評価するものではなく、通常、人間の画像認識や評価を正確に反映することができません。

しかし、この研究は、巨大壁画の修復におけるディープラーニングの応用を探求し、特に永楽宮壁画の修復におけるディープラーニング技術の使用に焦点を当てたことは否定できない。これは、大規模な芸術作品のディープラーニング修復手法を探求する初の試みです。

さらに、本研究では、通常サイズ画像復元モデルの改良に関して、データと構造の両面から総合的な改良を行った。これにより、将来の研究のために固有の小規模データセットを修復するための新たな洞察が得られます。

人類が文化遺産の寿命を延ばすのを支援する

ここ数年、人々はAI技術と文化遺産の歴史の素晴らしい融合も目撃してきました。

2020年、「大谷スピッツァー」という名のWeiboユーザーがAI技術を駆使して、人民日報が4年前に公開した1920年の北京の白黒画像を復元し、色付け、フレームレートの復元、解像度の拡大などの作業を完了した。

2021年、テンセントマルチメディアラボは敦煌研究院と協力し、ディープラーニング手法を用いて敦煌壁画病データを分析し、効率的なAI壁画病識別ツールを開発した。同時に、没入型遠隔相談技術を提供し、4K超鮮明360度画像を使用して洞窟内の風景や文化遺産の詳細を表示し、バリアフリーの遠隔文化遺産相談を実現しました。

テンセントは今年6月、成都で開催された文化遺産の日メインシティイベントのテーマフォーラム「文化財の保護と活用、文化への自信と自己向上」で、AI技術を活用して完成した三星堆の人間と機械の協働シミュレーション接合効果を披露した。

文化財修復の分野における AI 技術のさまざまな応用は興味深いものです。今後、AI技術が文化財の保護や修復においてさらなる進歩を遂げ、人類が文化財の寿命を延ばすことに貢献することが期待されます。

論文リンク:

https://arxiv.org/abs/2309.06194