画面中央に生成された"仮想カメラ"で、視線が合わない違和感を解消。
円滑なコミュ二ケーションを可能にする革新的なWeb会議システムを発明。
金沢工業大学 メディア情報学科 坂知樹助教
オンラインでも視線を合わせながらの会話を可能にするWeb会議システムを、金沢工業大学情報フロンティア学部メディア情報学科 坂知樹助教（専門：画像処理、医用画像処理）が発明しました。
当発明は令和2年12月11日に特許出願済です（特願2020-205631）。
これまで視線が合うWeb会議システムは報告が無く、新規需要が期待されています。
新型コロナウイルス感染症（COVID-19）がきっかけとなり、テレワークやネット授業が日常的になりました。アフターコロナにおいてもオンラインでのコミュニケーションは"ニューノーマル"になっていくものと考えられています。一方で、今日一般的に使用されているWeb会議システムは、相手の顔が見える画面とカメラが違う位置にあるため、対面と違ってユーザ同士の視線が合わず、違和感を覚えてしまうケースが多いという課題があります。
【画像：https://kyodonewsprwire.jp/img/202012158614-O2-0aj8iutC】
画面の相手を観ながら話すと視線が合わなくなる
今回発明されたシステムは、画面の両脇（左右もしくは上下）に置かれたカメラで画面中央に"仮想カメラ"を生成し、ユーザを正面から撮影したような映像を仮想的に表示します。
画面の相手と目線を合わせながら違和感なくコミュニケーションができるため、テレワークにおけるテレビ会議システムやWeb面接システムでの実用化が期待されます。また視線のずれなく鏡を見るように写真撮影が可能になるため、証明写真機等の分野でも新規需要が見込まれます。
当システムの実用化に向けて、今後、企業との連携を進めていく考えです。
新たに発明されたWeb会議システムの概要
【先行技術の課題】
現在、一般的なWeb会議システムに用いられるハードウェアは以下の2通りの形式があり、いずれも画面およびカメラがハードウェアの前面に設置されています(図1)。
【画像：https://kyodonewsprwire.jp/img/202012158614-O3-XMBmPs8Q】 【画像：https://kyodonewsprwire.jp/img/202012158614-O4-kyC8Culn】
図1 先行のWeb会議システム（ハードウェア）
左：画面長辺にカメラを設置する形式、右：画面短辺にカメラを設置する形式
これらのハードウェアを用いてWeb会議システムを動作させた場合、ユーザが画面内の会議相手の顔に視線を向けると、カメラから視線がずれてしまい、ユーザ同士が視線を合わせて会話することが困難となります（図2）。
また画面中央にカメラを設置することで画面に視線を合わせるユーザを正面から撮影できますが、この場合はカメラが画面を遮蔽してしまう問題があります。
【画像：https://kyodonewsprwire.jp/img/202012158614-O2-0aj8iutC】
図2 先行のWeb会議システム（アプリケーション）
左：画面上部にカメラを設置した場合、右：画面右部にカメラを設置した場合
【本発明の本質】
本発明の本質は、「画面の両脇（左右もしくは上下）に画面を挟むように2台のカメラを設置」し（図3）、これらで撮影した画像を合成することで「画面中央にあるカメラがユーザを正面から撮影したような映像を仮想的に生成」することにあります。
【表：https://kyodonewsprwire.jp/prwfile/release/M102928/202012158614/_prw_OT1fl_72G6W7F3.png】
生成された「画面の中央に位置する仮想カメラより撮影された画像」をWeb会議システムに表示することで（図4）、ユーザ同士の視線が合うWeb会議システムが実現します。
【画像：https://kyodonewsprwire.jp/img/202012158614-O7-Yb7Ova5u】
図4 発明したWeb会議システム（アプリケーション）
この「画面中央に位置する仮想カメラより撮影された画像」は「ステレオマッチング」という技術を応用しています。
ステレオマッチングとは、人間が左右の目でモノを立体的に見る仕組みと同様に、左右のカメラで撮影した2枚の2次元画像から視差を推定し3次元の情報を推定する手法です。
本発明ではこのステレオマッチング技術を用いて、2台のカメラの中間に位置する「仮想カメラ」が撮影した画像を推定します。 「仮想カメラより撮影された画像」を画面に表示することで、ユーザは画面内に映る会議相手と視線が合います。
【画像：https://kyodonewsprwire.jp/img/202012158614-O8-h70332q3】
プロトタイプの画像
画面の両脇（左右もしくは上下）に画面を挟むように2台のカメラを設置することで、画面中央に仮想カメラを生成する
【表：https://kyodonewsprwire.jp/prwfile/release/M102928/202012158614/_prw_OT2fl_Rst3hn1Q.png】
【画像：https://kyodonewsprwire.jp/img/202012158614-O11-Q936x0Zl】
画面中央に位置する仮想カメラより撮影された画像
本発明の効果
・ユーザ同士の視線が合う
・円滑なコミュニケーションが可能となる
・ユーザが自分自身を撮影する際に鏡を見るように表示できる
技術分野、用途、実用化例
・テレビ通話システム：話し相手と視線が合う
・Web面接システム：面接官と受験者の視線が合う
・証明写真機：鏡を見るように証明写真を撮影できる
想定される技術移転先（業界・企業）
・（ハードウェア）スマートフォンメーカー、PCメーカー、周辺機器メーカー
・（ アプリケーション ） ソーシャル・ネットワーキング・サービス会社
