大規模データの高速検索および表示、ダウンロードする技術をJAXAと共同研究
これにより5G環境の普及に向けてビッグデータの取り扱い容易性やデータ価値の向上につながることを期待しています。
この共同実験により、ビッグデータを検索し、ビッグデータのまま取り出し、表示し、ダウンロードするという、これまで困難であった”ビッグデータサービス“の実現が見えてきました。現在の主なビッグデータを使ったサービスは、最終的に提供されるのはスモールデータとなっています。そのため、ビッグデータを受け取って新たなビッグデータを生み出す知の創造サイクルは育ちにくいものでした。しかし、今回の成果と、今後の5Gなどの高速通信の普及で、ビッグデータが新たな価値あるコンテンツになる環境が揃うことになります。
「観測データをはじめとして、IoTデータ、ブロックチェーンデータ、ログデータなど、サービス提供ができないがゆえに活用されずに埋もれているビッグデータが世の中には大量に埋蔵されています。それらは本来、高い価値を持っているはずです。まもなく、ビッグデータそのものが流通・取引される時代が来るのではないでしょうか。今回の成果でその突破口が開かれました。“1兆行のマスターデータから”、“必要な条件で”、“億単位の対象データを”、“わずか数秒でダウンロードする”、ということを実現できる日も近いと考えています。」と株式会社ターボデータラボラトリー 代表取締役社長 古庄 晋二氏は述べています。
「今回のビッグデータの超高速処理は新開発のREAD ONLYデータベースで実現できました。これにより、増殖する一方のビッグデータの扱いがとても容易になります。マスタービッグデータの管理は、PCサーバとSSDのみで実現可能であり、スケールアウトが容易に行えるため、低コストのシステム構成で大規模データを扱えるようになります。」と株式会社エスペラントシステム 執行役 生座本 義勝は述べています。
【共同研究概要】
タイトル :巨大時系列データの高速アクセスに関する研究
共同研究において大規模データの高速な検索および表示、
CSV作成の実証実験を行い、低コスト環境で高速な
ビッグデータのダウンロードサービスが実現できることを示す。
背景 :大規模な観測データの高速・低コストの検索および
ダウンロードサービスが必要であった。
共同研究実績:1. アポロ11号~17号が月に設置した地震計から得られた
大規模データを分割し、ビッグデータを仮想的にUNIONし、
約40億件(4,069,171,800レコード)のテーブルを作成。
2. 『D5Aファイル圧縮』機能を開発。D5Aファイルサイズは、
CSVサイズの50%以下にできたため、SSDのストレージサイズ
を大幅に削減。
3. その結果、平均0.1mSecで検索できた。
4. 複数項目の値の範囲を指定して検索できる、複数項目範囲
インデックスを開発。
【参考資料】
READ ONLYデータベースによる、高速・大規模・低コストの検索・ダウンロードサービス実現の試み
https://www.ess-g.com/wp-content/uploads/2020/03/JRJAXA-TDL-ESS.pdf
【今後の展望】
1. さまざまなビッグデータ(※)の検索・表示・ダウンロードサービスへの展開
(※)観測データ、IoTデータ、ブロックチェーンデータ、ログデータなど
2. AIとの連携
◆AIによるビッグデータの学習が進めやすくなる
現在のデータベース技術では、AIがビッグデータを学習する際に、検索・集計に多大な時間を要するために、学習が進まないという問題を解決できる。
◆データ提供もセットにしたBI分析ツールの登場が期待できる
AIはそれ自身ではスモールデータしか出力できない為、AIが当技術を使ってサービスに必要なビッグデータを拾い上げることで、新しいデータ提供サービスが可能になる。データサイエンティストに限らず、マーケティングのリサーチャーなどさまざまな職種の人々の仕事を高度に効率化および容易にできる。
【エスペラントシステム概要】
社名 : 株式会社エスペラントシステム
資本金 : 8,800万円
設立日 : 1979年5月1日
所在地 : 本社 千葉県流山市前平井61番地 ESSビル
代表者名: 代表取締役社長 寺平 英昭
事業内容: コンピュータシステムの設計、システム開発、インフラ環境構築、
保守運用、電気工事、LAN敷設工事、クラウドサービス、人材派遣等
URL : https://www.ess-g.com/
最強グラビアクイーン田中美久さんが22ページ独占! 豪華12名がグラビア競演!
黒崎レイナ、佐藤健との“兄妹ショット”公開に反響「本当の兄妹に見える」
【阪神】新外国人ハートウィグには誰にも真似できない能力が…?「病院で嫌がられるかも」
泉里香、祇園祭で艶やかな和装姿を披露!「本当に綺麗です」と称賛の声
シンガー・ソングライターおかゆができるまで“スナック生まれスナック育ち”からギャル/連載2
「Biodance」ポップアップストアで“消えるマスク”入りギフトセットを発売
【阪神】新加入ハートウィグに元同僚デュプランティエが重要証言「ファンキーで見ていて面白い」
生せっけんのルアンルアンで「素肌美キャンペーン」を開催中
なにわ男子ドーム公演決定に藤原丈一郎涙、高橋恭平は「涙全て捨て去った(笑)」/コメント一覧
トランプ氏「待っても仕方がない」 対露制裁の猶予期限、大幅短縮
女性の心肺蘇生した男性教授に「胸触った」と非難の声 車いすアイドル憂う「日本以外でも…」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
二階堂ふみが結婚!?お相手が衝撃的過ぎてネット民「マジか・・・」
倉田真由美氏「下劣すぎる」三上悠亜巡るウエディングドレス騒動に「職業差別、したとしても」
ミスFLASHグランプリ、大胆なビキニ姿に「はみ出しそう」フォロワーもん絶
太川陽介、妻・藤吉久美子の衝撃行動に「動機はいいのよ」評価も「その後が伴わない」
明石家さんま「高いと思い込んで生きてほしかった」 61歳俳優に贈った扇子がお宝鑑定
37歳元アイドル、10年ぶりのグラビアに挑戦 ブラひもチラ見せオフショット「凄まじい色気」
ゆうちゃみ激変、清楚ギャル姿公開「言葉失う美しさ」「二刀流」「佐々木希と見間違えた」
GACKT、大物俳優が「読めよ!」と“異常な圧”で著書送ってきたことを実名告白
二階堂ふみが結婚!?お相手が衝撃的過ぎてネット民「マジか・・・」
平子理沙、すっぴん自撮りに疑問の声が続出「加工フィルター使ってる」
ガーシー、みちょぱ反論に対抗で大倉士門の再暴露を投下「士門クズ過ぎる」
再婚した旦那に不倫されてしまった飯島直子(51)衝撃的過ぎる黒歴史が発覚する事態に
【ネタバレ?】史実で見るキングダムの今後の展開まとめ〜中華統一までの全体像
ゲーミングPCを買う場所は店舗購入とネット通販どっちがおすすめ?
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
【おすすめアニメ50選】完結済み!定番から最新作まで!
遠野なぎこさん死去 朝ドラ「すずらん」ヒロイン、バラエティーでも活躍 最近は摂食障害など告白
女性の心肺蘇生した男性教授に「胸触った」と非難の声 車いすアイドル憂う「日本以外でも…」

最強グラビアクイーン田中美久さんが22ページ独占! 豪華12名がグラビア競演!
黒崎レイナ、佐藤健との“兄妹ショット”公開に反響「本当の兄妹に見える」
【阪神】新外国人ハートウィグには誰にも真似できない能力が…?「病院で嫌がられるかも」
泉里香、祇園祭で艶やかな和装姿を披露!「本当に綺麗です」と称賛の声
【阪神】新加入ハートウィグに元同僚デュプランティエが重要証言「ファンキーで見ていて面白い」
シンガー・ソングライターおかゆができるまで“スナック生まれスナック育ち”からギャル/連載2
「Biodance」ポップアップストアで“消えるマスク”入りギフトセットを発売
なにわ男子ドーム公演決定に藤原丈一郎涙、高橋恭平は「涙全て捨て去った(笑)」/コメント一覧
生せっけんのルアンルアンで「素肌美キャンペーン」を開催中
トランプ氏「待っても仕方がない」 対露制裁の猶予期限、大幅短縮