白黒写真に色付けする手法とは?人工知能が100年前の情景も自然に再現 GitHubでコード公開
早稲田大学
白黒写真に色付けする手法とは?人工知能が100年前の情景も自然に再現 GitHubでコード公開
早稲田大学理工学術院の石川博教授、飯塚里志研究院助教、シモセラ・エドガー研究院助教らの研究グループは、ディープラーニングと呼ばれる人工知能技術を応用し、白黒写真を自然に彩色する「ディープネットワークを用いた大域特徴と局所特徴の学習による色付け」の手法を確立しました。
研究の背景
従来の白黒写真への色付け方法ではユーザーによる介入を必須としていましたが、本研究では自動で白黒画像に色付けを行うことができる手法を確立しました。本手法では、大量の白黒・カラー画像の組から色付けの手掛かりとなる特徴をディープラーニング技術により学習し、その特徴を使って与えられた白黒画像をカラー画像に変換します。特に本研究で開発した新しい手法として、画像全体から抽出される大域特徴と、より小さな領域から算出される局所特徴とを結びつけて利用します。
大域特徴からは、屋外か屋内か、また昼か夜か等の写真全体についての情報を得ることができ、また局所特徴からは、例えば砂か葉か水か等の物体の持つ質感により、その領域をどのように色付けするのが最も適当かという推測をすることができます。これらの組み合わせが、夕暮れの空や人の肌等の、より状況にあった自然な色付けを、人による介入を必要とせずに可能にしました。
モデル構造
図1が本手法におけるディープネットワークモデルの構造図です。提案モデルは(1) 低レベル特徴ネットワーク(紫)、(2) 中レベル特徴ネットワーク(青)、(3) 大域特徴ネットワーク(橙)、(4) 色付けネットワーク(緑)の4つのネットワークから構成されます。白黒画像が入力されるとモデルは入力画像の1/2サイズの彩度画像を出力します。この彩度画像を2倍にスケーリングし、入力画像と統合することでカラー画像が生成されます。
研究結果に関する評価と社会的影響
今回の研究により、100年前の白黒写真をはじめ、様々な画像において自然な色付けを実現できるようになりました。なお、彩色の結果はユーザーテストにより評価され、約90%の色付け結果が自然であるという回答を得ました。
研究結果詳細URL: http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ja/
また、ソースコードはGitHubにて公開されています。
本研究は、科学技術振興機構(JST)による戦略的創造研究推進事業CRESTの研究領域「現代の数理科学と連携する数理モデリング手法の構築」(研究総括:坪井俊)に属するプロジェクト「認識の数理モデルと高階・多層確率場による高次元実データ解析」(研究代表者:石川博)の成果です。
本研究の成果は、7月に米ロサンゼルスで開催されるコンピューターグラフィックスの国際会議SIGGRAPH 2016で発表されると共に、次の論文として公表されます:
Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa. “Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification,” ACM Transaction on Graphics (Proc. of SIGGRAPH 2016), to appear.
研究内容に関するお問い合わせ先
早稲田大学 理工学術院教授 石川 博
飛行機に安く乗る方法を詳しく解説!当日割や学生限定の割引も
大谷翔平「2番DH」で今季9勝右腕ルーゴと対戦 山本由伸は7勝目を目指し先発
女子プロレスラー井上貴子、元櫻坂46の1期生が親戚だと明かす「似てる」「姉妹みたい」
高橋克典、型破りなサラリーマンから特命係長経て「大岡越前」 時代劇と向き合い新しい発見も
浅田舞「知的でセクシー」メガネ姿の鏡越し自撮りショット&「見返り美人」な振り返る姿披露
カブス今永昇太が7勝目 7回4安打1失点好投 鈴木誠也は3打数2安打
miwa「34歳に見えない!かわいい!」最新ショット 15日が誕生日
AI、人気歌姫とのコラボに「まさかこんな日が来るなんて…」感激 「最高ー」「奇跡」フォロワーも反応
【ユーロ】初戦快勝のスペイン、デラフエンテ監督「MVPはファビアンとウナイにあげたい」
川島海荷「ママになってもパワフル」 第1子出産の團遥香と2ショット
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
三上悠亜、整形したことを事後報告でネット騒然「素っぴんが美しすぎる」「大半を既にいじっておいて今更」
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
オードリー若林結婚で嫁の名前がソッコーで特定する動き始まる
矢口真里、中学時代の写真公開「やっぱアイドルな人は、違うわ」ネット騒然
【ネタバレ?】史実で見るキングダムの今後の展開まとめ〜中華統一までの全体像
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
三上悠亜、整形したことを事後報告でネット騒然「素っぴんが美しすぎる」「大半を既にいじっておいて今更」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
YouTuberジュキヤの動画企画が大炎上「普通に痴漢」「気持ち悪すぎ」
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
オードリー若林結婚で嫁の名前がソッコーで特定する動き始まる
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
![game_banner](/images/banner-game.png)
飛行機に安く乗る方法を詳しく解説!当日割や学生限定の割引も
大谷翔平「2番DH」で今季9勝右腕ルーゴと対戦 山本由伸は7勝目を目指し先発
女子プロレスラー井上貴子、元櫻坂46の1期生が親戚だと明かす「似てる」「姉妹みたい」
高橋克典、型破りなサラリーマンから特命係長経て「大岡越前」 時代劇と向き合い新しい発見も
カブス今永昇太が7勝目 7回4安打1失点好投 鈴木誠也は3打数2安打
浅田舞「知的でセクシー」メガネ姿の鏡越し自撮りショット&「見返り美人」な振り返る姿披露
miwa「34歳に見えない!かわいい!」最新ショット 15日が誕生日
AI、人気歌姫とのコラボに「まさかこんな日が来るなんて…」感激 「最高ー」「奇跡」フォロワーも反応
【ユーロ】初戦快勝のスペイン、デラフエンテ監督「MVPはファビアンとウナイにあげたい」
川島海荷「ママになってもパワフル」 第1子出産の團遥香と2ショット