大規模データの高速検索および表示、ダウンロードする技術をJAXAと共同研究
これにより5G環境の普及に向けてビッグデータの取り扱い容易性やデータ価値の向上につながることを期待しています。
この共同実験により、ビッグデータを検索し、ビッグデータのまま取り出し、表示し、ダウンロードするという、これまで困難であった”ビッグデータサービス“の実現が見えてきました。現在の主なビッグデータを使ったサービスは、最終的に提供されるのはスモールデータとなっています。そのため、ビッグデータを受け取って新たなビッグデータを生み出す知の創造サイクルは育ちにくいものでした。しかし、今回の成果と、今後の5Gなどの高速通信の普及で、ビッグデータが新たな価値あるコンテンツになる環境が揃うことになります。
「観測データをはじめとして、IoTデータ、ブロックチェーンデータ、ログデータなど、サービス提供ができないがゆえに活用されずに埋もれているビッグデータが世の中には大量に埋蔵されています。それらは本来、高い価値を持っているはずです。まもなく、ビッグデータそのものが流通・取引される時代が来るのではないでしょうか。今回の成果でその突破口が開かれました。“1兆行のマスターデータから”、“必要な条件で”、“億単位の対象データを”、“わずか数秒でダウンロードする”、ということを実現できる日も近いと考えています。」と株式会社ターボデータラボラトリー 代表取締役社長 古庄 晋二氏は述べています。
「今回のビッグデータの超高速処理は新開発のREAD ONLYデータベースで実現できました。これにより、増殖する一方のビッグデータの扱いがとても容易になります。マスタービッグデータの管理は、PCサーバとSSDのみで実現可能であり、スケールアウトが容易に行えるため、低コストのシステム構成で大規模データを扱えるようになります。」と株式会社エスペラントシステム 執行役 生座本 義勝は述べています。
【共同研究概要】
タイトル :巨大時系列データの高速アクセスに関する研究
共同研究において大規模データの高速な検索および表示、
CSV作成の実証実験を行い、低コスト環境で高速な
ビッグデータのダウンロードサービスが実現できることを示す。
背景 :大規模な観測データの高速・低コストの検索および
ダウンロードサービスが必要であった。
共同研究実績:1. アポロ11号~17号が月に設置した地震計から得られた
大規模データを分割し、ビッグデータを仮想的にUNIONし、
約40億件(4,069,171,800レコード)のテーブルを作成。
2. 『D5Aファイル圧縮』機能を開発。D5Aファイルサイズは、
CSVサイズの50%以下にできたため、SSDのストレージサイズ
を大幅に削減。
3. その結果、平均0.1mSecで検索できた。
4. 複数項目の値の範囲を指定して検索できる、複数項目範囲
インデックスを開発。
【参考資料】
READ ONLYデータベースによる、高速・大規模・低コストの検索・ダウンロードサービス実現の試み
https://www.ess-g.com/wp-content/uploads/2020/03/JRJAXA-TDL-ESS.pdf
【今後の展望】
1. さまざまなビッグデータ(※)の検索・表示・ダウンロードサービスへの展開
(※)観測データ、IoTデータ、ブロックチェーンデータ、ログデータなど
2. AIとの連携
◆AIによるビッグデータの学習が進めやすくなる
現在のデータベース技術では、AIがビッグデータを学習する際に、検索・集計に多大な時間を要するために、学習が進まないという問題を解決できる。
◆データ提供もセットにしたBI分析ツールの登場が期待できる
AIはそれ自身ではスモールデータしか出力できない為、AIが当技術を使ってサービスに必要なビッグデータを拾い上げることで、新しいデータ提供サービスが可能になる。データサイエンティストに限らず、マーケティングのリサーチャーなどさまざまな職種の人々の仕事を高度に効率化および容易にできる。
【エスペラントシステム概要】
社名 : 株式会社エスペラントシステム
資本金 : 8,800万円
設立日 : 1979年5月1日
所在地 : 本社 千葉県流山市前平井61番地 ESSビル
代表者名: 代表取締役社長 寺平 英昭
事業内容: コンピュータシステムの設計、システム開発、インフラ環境構築、
保守運用、電気工事、LAN敷設工事、クラウドサービス、人材派遣等
URL : https://www.ess-g.com/
松本人志5・5億円損害賠償請求等訴訟、5日オンライン非公開で実施 第1回口頭弁論以来の実施
ピンク・レディー増田惠子、私服姿メリハリボディー披露「スタイル良いから何着ても似合う」の声
【楽天】茂木栄五郎「代打の神様のよう」延長10回阪神ゲラ撃ち値千金決勝打、今江監督絶賛
4児の母・辻希美と3児の母・小倉優子が「全国虫ケア啓発イベント」出席
【巨人】坂本勇人が2安打放ち通算2370安打 歴代12位・落合博満の記録まであと「1」
【阪神】岩崎優、楽天中軸相手に無失点で役割果たす「しっかりしないと」ゲラ降格で単独守護神へ
大友花恋が斎藤瑠希、平野綾と華やかドレス姿「震えました」ミッキーマウス登場に大興奮
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
鈴木おさむ氏「仕事を辞めた今だからこそできる向き合い方を」ベスト・ファーザー賞授賞
仲里依紗が主演起用したロバート秋山竜次に熱い思い「眼力が本当に大好き」「ただのファン」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
浜崎あゆみ、子供の写真公開に疑いの声止まず「よそのお宅の子供?」
YouTuberジュキヤの動画企画が大炎上「普通に痴漢」「気持ち悪すぎ」
大谷翔平被弾投手が悪態ついて退場処分!次打者フリーマンと対戦中に判定巡り塁審と口論
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
千原せいじのシエラレオネ巡る発言 NPO代表理事が公式謝罪忠告「最悪、国家間の問題に発展」
大谷翔平10試合ぶり14号 シティフィールド初アーチ、26球場目は自らの日本人記録更新
大谷に被弾→次打者判定で審判と口論→退場→「チーム、自分も最悪」→戦力外
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
TikTokを賑わす「フエラムネごめんなサイダー味」がセブンイレブンで再販!じゅるるマスカットも買うなら今!
小倉優子、不自然な“二重ライン”にネット騒然「やっぱり整形?」
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
浜崎あゆみ、子供の写真公開に疑いの声止まず「よそのお宅の子供?」
ピンク・レディー増田惠子、私服姿メリハリボディー披露「スタイル良いから何着ても似合う」の声
“揺れる年頃” 菊池桃子、ヘアスタイルについて吐露「照れくさいなんて…本当にかわいい」
CHARA、福島県郡山市で開催の音楽フェス出演「感動で涙が止まりませんでした」とファンの声
DJ KOO、えなことツーショット「DJ ENAKO×DJ KOOで共演DO DANCE」
三田寛子「仲間が集まり大盛り上がり」 グルメレポ人気タレント、学園ドラマ共演者と3ショット
加藤あい「#すごいアップでごめんなさい」自撮りショット公開に「逆にあざっす(笑)」
小野寺結衣、新井恵理那に手作りパンをプレゼント 「プロ級の出来栄え」「おいしそう」と話題
桐谷美玲&三浦翔平、夫婦そろってバースデープレートを投稿 「いつまでもラブラブ夫婦」の声
アンガールズ田中卓志、実父の顔出しショット公開 「そっくり~!」「お父さんも優しそうな方」
和泉元彌が50歳誕生日を前に思いつづる「すごくすてきに年齢を重ねられていて尊敬」など反響