大規模データの高速検索および表示、ダウンロードする技術をJAXAと共同研究
これにより5G環境の普及に向けてビッグデータの取り扱い容易性やデータ価値の向上につながることを期待しています。
この共同実験により、ビッグデータを検索し、ビッグデータのまま取り出し、表示し、ダウンロードするという、これまで困難であった”ビッグデータサービス“の実現が見えてきました。現在の主なビッグデータを使ったサービスは、最終的に提供されるのはスモールデータとなっています。そのため、ビッグデータを受け取って新たなビッグデータを生み出す知の創造サイクルは育ちにくいものでした。しかし、今回の成果と、今後の5Gなどの高速通信の普及で、ビッグデータが新たな価値あるコンテンツになる環境が揃うことになります。
「観測データをはじめとして、IoTデータ、ブロックチェーンデータ、ログデータなど、サービス提供ができないがゆえに活用されずに埋もれているビッグデータが世の中には大量に埋蔵されています。それらは本来、高い価値を持っているはずです。まもなく、ビッグデータそのものが流通・取引される時代が来るのではないでしょうか。今回の成果でその突破口が開かれました。“1兆行のマスターデータから”、“必要な条件で”、“億単位の対象データを”、“わずか数秒でダウンロードする”、ということを実現できる日も近いと考えています。」と株式会社ターボデータラボラトリー 代表取締役社長 古庄 晋二氏は述べています。
「今回のビッグデータの超高速処理は新開発のREAD ONLYデータベースで実現できました。これにより、増殖する一方のビッグデータの扱いがとても容易になります。マスタービッグデータの管理は、PCサーバとSSDのみで実現可能であり、スケールアウトが容易に行えるため、低コストのシステム構成で大規模データを扱えるようになります。」と株式会社エスペラントシステム 執行役 生座本 義勝は述べています。
【共同研究概要】
タイトル :巨大時系列データの高速アクセスに関する研究
共同研究において大規模データの高速な検索および表示、
CSV作成の実証実験を行い、低コスト環境で高速な
ビッグデータのダウンロードサービスが実現できることを示す。
背景 :大規模な観測データの高速・低コストの検索および
ダウンロードサービスが必要であった。
共同研究実績:1. アポロ11号~17号が月に設置した地震計から得られた
大規模データを分割し、ビッグデータを仮想的にUNIONし、
約40億件(4,069,171,800レコード)のテーブルを作成。
2. 『D5Aファイル圧縮』機能を開発。D5Aファイルサイズは、
CSVサイズの50%以下にできたため、SSDのストレージサイズ
を大幅に削減。
3. その結果、平均0.1mSecで検索できた。
4. 複数項目の値の範囲を指定して検索できる、複数項目範囲
インデックスを開発。
【参考資料】
READ ONLYデータベースによる、高速・大規模・低コストの検索・ダウンロードサービス実現の試み
https://www.ess-g.com/wp-content/uploads/2020/03/JRJAXA-TDL-ESS.pdf
【今後の展望】
1. さまざまなビッグデータ(※)の検索・表示・ダウンロードサービスへの展開
(※)観測データ、IoTデータ、ブロックチェーンデータ、ログデータなど
2. AIとの連携
◆AIによるビッグデータの学習が進めやすくなる
現在のデータベース技術では、AIがビッグデータを学習する際に、検索・集計に多大な時間を要するために、学習が進まないという問題を解決できる。
◆データ提供もセットにしたBI分析ツールの登場が期待できる
AIはそれ自身ではスモールデータしか出力できない為、AIが当技術を使ってサービスに必要なビッグデータを拾い上げることで、新しいデータ提供サービスが可能になる。データサイエンティストに限らず、マーケティングのリサーチャーなどさまざまな職種の人々の仕事を高度に効率化および容易にできる。
【エスペラントシステム概要】
社名 : 株式会社エスペラントシステム
資本金 : 8,800万円
設立日 : 1979年5月1日
所在地 : 本社 千葉県流山市前平井61番地 ESSビル
代表者名: 代表取締役社長 寺平 英昭
事業内容: コンピュータシステムの設計、システム開発、インフラ環境構築、
保守運用、電気工事、LAN敷設工事、クラウドサービス、人材派遣等
URL : https://www.ess-g.com/
VOISINGチップスが第3弾に!推しと楽しむ24種のカード付き♪
鹿児島県で震度4の地震 津波の心配なし
【阪神】伊藤将司が安定感抜群3連勝 チーム防御率「1.93」DeNA後輩にも届けた先輩の姿
【阪神】森下翔太が1試合2発「タイガースらしい攻撃が…」佐藤輝明とは2者連続本塁打で8連勝
ジーニッシュマニキュア数量限定「金木犀×銀木犀」コレクション登場
Qoo10で大人気!韓国ブランドの香るボディソープTOP5♡
【阪神】石井大智8回に登板、3者凡退「すごく良かった」戦列復帰後4戦1勝2H、8連勝けん引
【阪神】坂本誠志郎、好リードで伊藤将司3連勝導く「サイン通り投げてくれる投手がいて野球に」
Rソシエダード、スペイン代表MFスビメンディのアーセナル移籍発表 112億円合意と現地報道
【阪神】中野拓夢「予測できていた」4回DeNA宮崎の打球好捕を解説 打でも首位打者に2厘差
佐々木希が告白「多目的トイレ不倫」の夫渡部建と離婚の話し合い「すごい怖かったと思います」
「水着みたい」元NHKアナが“ピタピタ“私服ノースリ姿「妹がプレゼント…」に「センスよい」
日焼けしたポチャッコがかわいい♪東京・原宿のハワイアンカフェ“HALEIWA”にて、ポチャッココラボカフェ7/11より開催!
「胸、大きくなってない?」元セクシー女優の上原亜衣、白ビキニ大胆ボディー披露「惚れてマウ」
堀江貴文氏、羽田空港混雑に「よーわからん漫画家の予言を真に受けてる人こんなにいるんか」
堀江貴文氏、石破首相に”不機嫌逆ギレ”された小川彩佳にひと言ツッコミ
48歳女性歌手が激怒 参政党代表「高齢の女性は子どもが産めない」発言に「男は何様なんだよ」
足立梨花「そんなパンツどこに売っとんねんみたいに…」有料コンテンツ写真の加工修正掲載に怒
最高にかわいい女の子集団が巻頭グラビア! 9人の豪華な清涼グラビアは必見!
再婚した旦那に不倫されてしまった飯島直子(51)衝撃的過ぎる黒歴史が発覚する事態に
ガーシー、錦織圭の元モデル妻の暴露にネット騒然「なんで結婚したんだろ?」
有村昆(44)の不倫未遂の相手とされるセクシー女優、ネットで「唯井まひろ」と噂されるも、本人は…
小澤征悦と再婚した桑子真帆アナ(34)黒い過去が流出、衝撃の過去にネット騒然
再婚した旦那に不倫されてしまった飯島直子(51)衝撃的過ぎる黒歴史が発覚する事態に
二階堂ふみが結婚!?お相手が衝撃的過ぎてネット民「マジか・・・」
山口真由氏は「しばらくお休みとなります」モーニングショー冒頭で羽鳥慎一アナが報告
日焼けしたポチャッコがかわいい♪東京・原宿のハワイアンカフェ“HALEIWA”にて、ポチャッココラボカフェ7/11より開催!
【7月21日まで】最大50%分のふるなびコインがもらえる「ふるなびメガ還元祭」3つのキャンペーンと参加方法
池袋・法律事務所で男性刺殺 容疑者は50歳同僚 「以前から恨み」
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」

VOISINGチップスが第3弾に!推しと楽しむ24種のカード付き♪
鹿児島県で震度4の地震 津波の心配なし
【阪神】伊藤将司が安定感抜群3連勝 チーム防御率「1.93」DeNA後輩にも届けた先輩の姿
【阪神】森下翔太が1試合2発「タイガースらしい攻撃が…」佐藤輝明とは2者連続本塁打で8連勝
ジーニッシュマニキュア数量限定「金木犀×銀木犀」コレクション登場
Qoo10で大人気!韓国ブランドの香るボディソープTOP5♡
【阪神】石井大智8回に登板、3者凡退「すごく良かった」戦列復帰後4戦1勝2H、8連勝けん引
週刊仮想通貨ニュース|BitwiseのBTC20万ドル到達予測維持や有識者の推奨ポートフォリオに高い関心
【阪神】坂本誠志郎、好リードで伊藤将司3連勝導く「サイン通り投げてくれる投手がいて野球に」
Rソシエダード、スペイン代表MFスビメンディのアーセナル移籍発表 112億円合意と現地報道