白黒写真に色付けする手法とは?人工知能が100年前の情景も自然に再現 GitHubでコード公開
早稲田大学
白黒写真に色付けする手法とは?人工知能が100年前の情景も自然に再現 GitHubでコード公開
早稲田大学理工学術院の石川博教授、飯塚里志研究院助教、シモセラ・エドガー研究院助教らの研究グループは、ディープラーニングと呼ばれる人工知能技術を応用し、白黒写真を自然に彩色する「ディープネットワークを用いた大域特徴と局所特徴の学習による色付け」の手法を確立しました。
研究の背景
従来の白黒写真への色付け方法ではユーザーによる介入を必須としていましたが、本研究では自動で白黒画像に色付けを行うことができる手法を確立しました。本手法では、大量の白黒・カラー画像の組から色付けの手掛かりとなる特徴をディープラーニング技術により学習し、その特徴を使って与えられた白黒画像をカラー画像に変換します。特に本研究で開発した新しい手法として、画像全体から抽出される大域特徴と、より小さな領域から算出される局所特徴とを結びつけて利用します。
大域特徴からは、屋外か屋内か、また昼か夜か等の写真全体についての情報を得ることができ、また局所特徴からは、例えば砂か葉か水か等の物体の持つ質感により、その領域をどのように色付けするのが最も適当かという推測をすることができます。これらの組み合わせが、夕暮れの空や人の肌等の、より状況にあった自然な色付けを、人による介入を必要とせずに可能にしました。
モデル構造
図1が本手法におけるディープネットワークモデルの構造図です。提案モデルは(1) 低レベル特徴ネットワーク(紫)、(2) 中レベル特徴ネットワーク(青)、(3) 大域特徴ネットワーク(橙)、(4) 色付けネットワーク(緑)の4つのネットワークから構成されます。白黒画像が入力されるとモデルは入力画像の1/2サイズの彩度画像を出力します。この彩度画像を2倍にスケーリングし、入力画像と統合することでカラー画像が生成されます。
研究結果に関する評価と社会的影響
今回の研究により、100年前の白黒写真をはじめ、様々な画像において自然な色付けを実現できるようになりました。なお、彩色の結果はユーザーテストにより評価され、約90%の色付け結果が自然であるという回答を得ました。
研究結果詳細URL: http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ja/
また、ソースコードはGitHubにて公開されています。
本研究は、科学技術振興機構(JST)による戦略的創造研究推進事業CRESTの研究領域「現代の数理科学と連携する数理モデリング手法の構築」(研究総括:坪井俊)に属するプロジェクト「認識の数理モデルと高階・多層確率場による高次元実データ解析」(研究代表者:石川博)の成果です。
本研究の成果は、7月に米ロサンゼルスで開催されるコンピューターグラフィックスの国際会議SIGGRAPH 2016で発表されると共に、次の論文として公表されます:
Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa. “Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification,” ACM Transaction on Graphics (Proc. of SIGGRAPH 2016), to appear.
研究内容に関するお問い合わせ先
早稲田大学 理工学術院教授 石川 博
兄はお笑い芸人!ABCテレビ新人の大石紗椰アナが大舞台での共演希望「兄妹ともに頑張れたら」
ABCテレビ新人の中村想人アナ、日本に7人のJBC認定リングアナ「いつか大きなホールで」
【オリックス】西川龍馬が球団最多月間7度のV打を狙う 6月は現在5度「続けていけるように」
【中日】立浪監督「2人が頑張らないと点が入らない」リーグ戦再開の打線軸は細川成也と中田翔
【阪神】森下翔太が東都でしのぎ削った日本ハム細野晴希とプロ初対戦へ「大学の時からいい投手」
【阪神】勝って終わりたい交流戦「全員その気持ち」16日満塁弾の前川右京、甲子園にも勢い持ち込む
【阪神】村上頌樹「負けないように」東洋大後輩・日本ハム細野に貫禄見せつけ、交流戦白星締めだ
【オリックス】森友哉、リーグ戦再開後の捕手の準備進める 故障から復帰後はDHか代打のみ
映画「新・三茶のポルターガイスト」豊島圭介監督「亡くなった叶井俊太郎が舞台あいさつに来る」
【阪神】伊藤将司、中7日で22日DeNA戦先発予定「いい感じで納得いく投球できている」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
三上悠亜、整形したことを事後報告でネット騒然「素っぴんが美しすぎる」「大半を既にいじっておいて今更」
矢口真里、中学時代の写真公開「やっぱアイドルな人は、違うわ」ネット騒然
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
真島なおみ、黒ブラジャー透けるセクシー教師姿にフォロワーもん絶「生徒がムラムラする」
オードリー若林結婚で嫁の名前がソッコーで特定する動き始まる
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
三上悠亜、整形したことを事後報告でネット騒然「素っぴんが美しすぎる」「大半を既にいじっておいて今更」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
YouTuberジュキヤの動画企画が大炎上「普通に痴漢」「気持ち悪すぎ」
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
オードリー若林結婚で嫁の名前がソッコーで特定する動き始まる
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
兄はお笑い芸人!ABCテレビ新人の大石紗椰アナが大舞台での共演希望「兄妹ともに頑張れたら」
ABCテレビ新人の中村想人アナ、日本に7人のJBC認定リングアナ「いつか大きなホールで」
【オリックス】西川龍馬が球団最多月間7度のV打を狙う 6月は現在5度「続けていけるように」
【中日】立浪監督「2人が頑張らないと点が入らない」リーグ戦再開の打線軸は細川成也と中田翔
【阪神】森下翔太が東都でしのぎ削った日本ハム細野晴希とプロ初対戦へ「大学の時からいい投手」
【阪神】勝って終わりたい交流戦「全員その気持ち」16日満塁弾の前川右京、甲子園にも勢い持ち込む
【阪神】村上頌樹「負けないように」東洋大後輩・日本ハム細野に貫禄見せつけ、交流戦白星締めだ
映画「新・三茶のポルターガイスト」豊島圭介監督「亡くなった叶井俊太郎が舞台あいさつに来る」
【オリックス】森友哉、リーグ戦再開後の捕手の準備進める 故障から復帰後はDHか代打のみ
年金から「税金」や「社会保険料」は引かれるのか?