白黒写真に色付けする手法とは?人工知能が100年前の情景も自然に再現 GitHubでコード公開
早稲田大学
白黒写真に色付けする手法とは?人工知能が100年前の情景も自然に再現 GitHubでコード公開
早稲田大学理工学術院の石川博教授、飯塚里志研究院助教、シモセラ・エドガー研究院助教らの研究グループは、ディープラーニングと呼ばれる人工知能技術を応用し、白黒写真を自然に彩色する「ディープネットワークを用いた大域特徴と局所特徴の学習による色付け」の手法を確立しました。
研究の背景
従来の白黒写真への色付け方法ではユーザーによる介入を必須としていましたが、本研究では自動で白黒画像に色付けを行うことができる手法を確立しました。本手法では、大量の白黒・カラー画像の組から色付けの手掛かりとなる特徴をディープラーニング技術により学習し、その特徴を使って与えられた白黒画像をカラー画像に変換します。特に本研究で開発した新しい手法として、画像全体から抽出される大域特徴と、より小さな領域から算出される局所特徴とを結びつけて利用します。
大域特徴からは、屋外か屋内か、また昼か夜か等の写真全体についての情報を得ることができ、また局所特徴からは、例えば砂か葉か水か等の物体の持つ質感により、その領域をどのように色付けするのが最も適当かという推測をすることができます。これらの組み合わせが、夕暮れの空や人の肌等の、より状況にあった自然な色付けを、人による介入を必要とせずに可能にしました。
モデル構造
図1が本手法におけるディープネットワークモデルの構造図です。提案モデルは(1) 低レベル特徴ネットワーク(紫)、(2) 中レベル特徴ネットワーク(青)、(3) 大域特徴ネットワーク(橙)、(4) 色付けネットワーク(緑)の4つのネットワークから構成されます。白黒画像が入力されるとモデルは入力画像の1/2サイズの彩度画像を出力します。この彩度画像を2倍にスケーリングし、入力画像と統合することでカラー画像が生成されます。
研究結果に関する評価と社会的影響
今回の研究により、100年前の白黒写真をはじめ、様々な画像において自然な色付けを実現できるようになりました。なお、彩色の結果はユーザーテストにより評価され、約90%の色付け結果が自然であるという回答を得ました。
研究結果詳細URL: http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ja/
また、ソースコードはGitHubにて公開されています。
本研究は、科学技術振興機構(JST)による戦略的創造研究推進事業CRESTの研究領域「現代の数理科学と連携する数理モデリング手法の構築」(研究総括:坪井俊)に属するプロジェクト「認識の数理モデルと高階・多層確率場による高次元実データ解析」(研究代表者:石川博)の成果です。
本研究の成果は、7月に米ロサンゼルスで開催されるコンピューターグラフィックスの国際会議SIGGRAPH 2016で発表されると共に、次の論文として公表されます:
Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa. “Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification,” ACM Transaction on Graphics (Proc. of SIGGRAPH 2016), to appear.
研究内容に関するお問い合わせ先
早稲田大学 理工学術院教授 石川 博
サヘル・ローズ、蓮舫氏の都知事選出馬に「結局、私たちは政策を聞きたい」
メジャーの歴史で最高の投球続けるカブス今永昇太、遅い直球はなぜ打たれないのか?理由を考察
MLB「最悪の審判」引退、多数の疑惑判定、ヤンキース伝説左腕「球審でも塁審でも終わってる」
俳優府川眞が芸名を葛飾心に改名、一部で事実婚報じられた真木よう子事務所に所属すると発表
「私は中国人」 台湾芸能人の発言相次ぐ 「中国の圧力」批判も
【阪神】ノイジーがファーム練習合流「もっと打てるように」北川2軍コーチと室内で45球打ち込み
大阪公立大の研究室から青酸ソーダを盗んだ疑いで男性逮捕
クラーク春の全道初制覇ならず…北海に2-3競り負け 佐々木監督「さあ次は夏だね」
昨年大反響のスクール水着が今年も登場! パパ、ママ、お子さまの声を元に細部まで改良!人気のスカートタイプやセパレートタイプ、ラッシュガードも
本田翼、白の肩出し全身コーデを披露「透明感すご!」「まさに最強カワイイ」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
小倉優子、不自然な“二重ライン”にネット騒然「やっぱり整形?」
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
大原櫻子、ガーシー暴露後初のSNS投稿に賛否の声「イメージ最悪になった」
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
トミーズ健、父が遺した口座解約で銀行とトラブルも…「真実」にガックリ
藤田ニコル「初めてした日」ゆうちゃみ「体位とかも全部」親に明かしたギャル的「性事情」に騒然
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
田中美久、ビキニ姿でヒップラインと“美背中”大放出!美しすぎるにもほどがある
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
TikTokを賑わす「フエラムネごめんなサイダー味」がセブンイレブンで再販!じゅるるマスカットも買うなら今!
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
小倉優子、不自然な“二重ライン”にネット騒然「やっぱり整形?」
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
サヘル・ローズ、蓮舫氏の都知事選出馬に「結局、私たちは政策を聞きたい」
メジャーの歴史で最高の投球続けるカブス今永昇太、遅い直球はなぜ打たれないのか?理由を考察
MLB「最悪の審判」引退、多数の疑惑判定、ヤンキース伝説左腕「球審でも塁審でも終わってる」
俳優府川眞が芸名を葛飾心に改名、一部で事実婚報じられた真木よう子事務所に所属すると発表
「私は中国人」 台湾芸能人の発言相次ぐ 「中国の圧力」批判も
【阪神】ノイジーがファーム練習合流「もっと打てるように」北川2軍コーチと室内で45球打ち込み
大阪公立大の研究室から青酸ソーダを盗んだ疑いで男性逮捕
クラーク春の全道初制覇ならず…北海に2-3競り負け 佐々木監督「さあ次は夏だね」
昨年大反響のスクール水着が今年も登場! パパ、ママ、お子さまの声を元に細部まで改良!人気のスカートタイプやセパレートタイプ、ラッシュガードも
本田翼、白の肩出し全身コーデを披露「透明感すご!」「まさに最強カワイイ」