日本手話による対話の収録風景


提供する対話の3D CG(提供するツールMAT(マット Multi-dimensional data Annotation support Tool for Sign Language Dialogue)で再生)


鹿児島桜島の観光案内の3D CGの例

工学院大学(学長：伊藤 慎一郎、所在地：東京都新宿区／八王子市)の長嶋 祐二名誉教授(元情報学部教授)は、国立情報学研究所 情報学研究データリポジトリ(NII IDR)「研究者等提供データセット」上で、「工学院大学 多用途型日本手話言語データベース(KoSign)」※1の提供を開始しました。科研費基盤研究(S)17H06114を使ってまとめられたこのデータベースは、多様な研究分野で利用できる汎用的な手話映像データベースの作成を目的として、プロジェクトで選定した6,000超の手話単語と10対話について、できる限り高精細・高精度のデータを収録し、質と量に置いて世界初※2のデータセットです。

工学院大学 多用途型日本手話言語データベース(KoSign)：
https://www.nii.ac.jp/dsc/idr/rdata/KoSign/

画像1: https://www.atpress.ne.jp/releases/261805/LL_img_261805_1.png
日本手話による対話の収録風景

研究者への第1期提供として、3,701単語と3対話のデータならびに専用の描画・解析支援ツール(アノテーション支援システム)を5月25日にアナウンスを開始し、6月1日から申請を受け付けています。データの内容や利用条件、申請方法等の詳細については国立情報学研究所 情報学研究データリポジトリ(NII IDR)をご覧ください。


■工学院大学 多用途型日本手話言語データベース(KoSign)概要
名称 ： 工学院大学 多用途型日本手話言語データベース(KoSign)
https://www.nii.ac.jp/dsc/idr/rdata/KoSign/
収録語数 ： 手話単語：約6,360、対話：10テーマ10件、総時間約83分
撮影対象者 ： ろう者でかつ手話ネイティブ家系の日本手話母語者2名
(男性1名、女性1名)
撮影期間、場所： 2017年～2019年、東映東京撮影所の
モーションキャプチャスタジオ
データ形式など： 正面と左右に4KまたはフルHDカメラを設置し、
下記を同期収録。
・手話映像データ(MXF形式、mp4形式)
・光学式モーションキャプチャによる3次元動作データ
(BVH形式、C3D形式、FBX形式)
・Kinectセンサによる深度データ(Kinect v2のxef形式)


■手話について
手話は、聴覚に障害のある人のコミュニケーション手段の一つで、音声言語とは異なった独立した文法体系をもつ言語です。手指動作と呼ばれる手の形や動きと、非手指動作と呼ばれる表情や視線などで構成されています。手話ネイティブが使う日本手話は、日本語とは異なる体系の言語、かつ、話し言葉です。しかしその文法は、十分に解明されていません。一般的に、日本語音声データは蓄積も多く、日本語言語の研究の発展に寄与しています。それと比較すると、手話研究は、言語学的にも工学的にも遅れています。共通で利用できる手話言語データベースが存在しないため、研究者による検討・議論が進みにくいことも原因の一つです。


■手話の課題とKoSignが役立てること ＊番号は＜手話の課題＞に対応
＜手話の課題＞
1. 日本には、3種類の手話がある。
(1) 日本手話：音声に頼らず、音声日本語とは違う独自の文法をもつ。ろう者と呼ばれる生まれつき聞こえない方々が使ってきた伝統的な手話。
(2) 中間型手話：日本語対応手話と日本手話とが混ざり合ったような手話。通訳者が使う。
(3) 日本語対応手話：日本語の文法と語順にそって手話単語を並べて表現する。

ろう者の状況を理解するために、健聴者にとっての映画鑑賞(海外作品)を例にすると、英語の字幕が付くと、英語を理解する人には問題ないが、英語がわからない人には中途半端な理解となる。ろう者の日常はこれに近い状況で、手話通訳がついても、中間型手話や日本語対応手話では、内容把握が一部分だけになることもある。

2. 日本手話の動作を様々な方向から見られる3次元動作辞書は存在しない。手話は立体的な動きが特徴なので、イラストや写真を用いた紙媒体の辞書や、正面や左右といった限られた一定の角度だけのビデオ教材などでは、正確な動きを理解しにくい。

3. 手話を研究するための共通に利用できる手話データベースは存在しない。そのため、各機関が独自に収集しており、そのデータとしての信頼性は不明。

＜KoSignが役立てること＞
・KoSignでは、日本手話を収録。日本語による訳もついているので、ろう者にとっては日常の様々な理解が進み、健聴の学習者や手話利用者にとっては日本手話の理解に近づける。
・KoSignには訳もついており、聴覚障害者間および健常者とのコミュニケーションの手助けになる。任意の方向から手話の動きを確認できる3D CGによる辞書が構築できる。
・KoSignは、研究者や開発者に無料で公開されるため、所属が異なる研究者による調査でも、共通の動作を対象に研究を進めることができる。

＜KoSignに関する備考＞
・KoSignが辞書の役割を果たす。
・単語と対話が同期収録されており、その総数は公開されているデータとしては世界一※2の規模となる。
・3次元動作データは、手と顔を中心に全身で112か所を測定しており、0.5mm、119.88fpsの精度。4Kカメラなどの使用により、データは高精細・高精度。
公開するデータベースには、3次元データを描画・映像を再生する機能を備えた分析を支援するツールMAT(マット)もソースコードと共に提供される。



■手話以外の分野でも活用可能
今回、NII IDRを通して提供するデータベースKoSign(コサイン)は、手話以外での活用も可能です。手話では、手の動きだけでなく顔の表情や視線も重要な要素なので、このデータベースは、顔だけでも33か所、全身で112か所にマーカを付けて計測しています。これらの3次元動作データや映像データは、皮膚や筋肉の動きなど生物学的な領域でも活用可能と考えられます。言語学、情報学の観点から解析しても、様々な知見が得られると見込まれます。


■長嶋 祐二名誉教授コメント
工学的な基盤研究ですが、様々な分野で活用してもらえると嬉しいです。そして、KoSignの利用した成果が、手話を母語とする人々へ、新たな情報保障の確立などQOL(生活の質)の向上に大きく寄与できることを期待しています。


■表示例
＜提供する対話の3D CG(FBX Reviewで再生)＞

画像2: https://www.atpress.ne.jp/releases/261805/LL_img_261805_2.jpg
提供する対話の3D CG(提供するツールMAT(マット Multi-dimensional data Annotation support Tool for Sign Language Dialogue)で再生)

再生中に、画面を上下左右に動かすことができる。写真1の対話映像と同じフレーム(時刻)での3D CG映像。手話学習目的で利用する場合は、手の位置、顔の表情と向きなどを容易に確認できる。左側の男性手話者、右側の女性手話者について、上段下段共に同じ動作だが違う角度で示している。

＜鹿児島桜島の観光案内の3D CGの例＞

画像3: https://www.atpress.ne.jp/releases/261805/LL_img_261805_3.jpg
鹿児島桜島の観光案内の3D CGの例

データベースに組み込まれている単語を組み合わせて、手話文を作ることも可能。この3DCGはモーションキャプチャで収録した観光案内文を提供するアノテーション支援システムで描画し字幕を付け、データの応用例のイメージとして示した。


※1 Kogakuin University Japanese Sign Language Multi-Dimensional Database
(略称：コサイン KoSign)

※2 長嶋名誉教授ら、工学院大学情報学部調べ
情報提供元： ＠Press