具体的には、表データの構造と数値特性を含む、様々な単語のナレッジグラフ(注1)を活用した独自の機械学習技術で、NECの最先端AI技術群「NEC the WISE」(注2)の1つです。例えば、表データにおける数値データ列に「29、24、23」がある場合、単独では「年齢」や「気温」など様々な意味が想起できますが、同じ表データに「氏名」の項目が含まれていれば、「気温」データではなく、より関係性の強い「年齢」データであると推定できます。
本技術をオープンデータ(注3)に適用したところ、専門家が30日かけていたデータ統合作業を、わずか１時間で同等品質にて実現することを確認しました。
今後NECは、本技術をサプライチェーンに加え、データレイクといわれる様々な分野の形式の異なるデータが集まるデータベースや、データを一元管理するデータマネジメント基盤(DMP、注4)、情報銀行やデータ流通プラットフォームなど、情報共有基盤への汎用的な活用を目指し、研究開発を進めていきます。
背景
近年、データ流通基盤や情報銀行など、データを部門間、企業間、さらには業界間で共有し統合することで、これまでにない横断的な分析を行う取り組みが活発になっています。
保有者の異なるデータを横断的に分析するには、表名や列名が統一されていない多様なデータを結合することが必要です。実際、作業者、企業、業界毎の違いから表名/列名には大きな表記揺れが存在します。そのため、これまではデータ管理の専門家が膨大な量の表データを精査し、何のための表データか、その表データの各行や列が何を表しているかを見極め、人手で統合を行っていました。その結果、データ統合に膨大な時間がかかり、分析がすぐに開始できない、担当者ごとのスキルにばらつきが出て分析精度が悪化するなどの問題が顕在化していました。
新技術の特長
本技術は、多種多様なデータの統合を専門家と同等の品質、かつ短期間で再現し、データ統合に関する業務効率の向上を可能にする、NEC独自の機械学習アルゴリズムです。
1. データ分布の傾向をとらえる特徴量に基づき、ナレッジグラフとの紐づけを実現
今回開発した技術は、元々付与されている表名や列名を手がかりとするのではなく、各データ列の数値分布の統計的な傾向を手がかりとします。
具体的には、事前にナレッジグラフ内の各単語について、その単語と共起する数値を収集し、単語の数値分布を含む独自のナレッジグラフを構築します。
同じ意味を持つ数値データは統計的な分布傾向が類似することから、数値データ列から数値の出現頻度の分布傾向を示す特徴量を算出し、ナレッジグラフ上の単語毎の数値分布と比較します。これにより、例えば、列名のないデータについても、「売上高」といった意味の推定が可能となります。
2. ナレッジグラフ上での意味の共起関係を活用し、高精度な意味推定を実現
表データにおける数値データ列では、例えば「29、24、23」など、それ単独では「年齢」や「気温」など様々な意味が当てはまるため、文字データ列と比べて正しい意味の推定はより困難となります。
今回開発した技術は、「推定対象のデータ列の意味候補」と「同一表データにある他のデータ列の意味」の共起関係をナレッジグラフ上のネットワーク距離(=データの意味間の共起関係の強度)を活用し推定することで、高い精度での推定を実現します。例えばあるデータ列について、同じ表データに「氏名」の項目が含まれていれば、ナレッジグラフから、「気温」データではなく、より関係性の強い「年齢」データであることを推定します。
NECは本技術を、人工知能分野の国際学会・アメリカ人工知能学会(The Thirty-Third AAAI Conference on Artificial Intelligence (AAAI-19、開催日時:2019年1月27日-2月１日 場所:米国・ハワイ)にて1月30日に発表しました。URL: https://aaai.org/Conferences/AAAI-19/
本リリースの詳細は下記をご参照ください。
https://jpn.nec.com/press/201908/20190805_02.html
概要：日本電気株式会社（NEC)
詳細は www.nec.co.jp をご覧ください。 Copyright 2019 JCN Newswire. All rights reserved. www.jcnnewswire.com
