日立、OSSベースでのビッグデータ分析を最大100倍に高速化する技術を開発
- 2017年11月14日 15:00:00
- テクノロジー
- JCN Newswire
近年、IoTに用いられるセンサーをはじめ、金融機関の口座取引記録や、ソーシャルメディアの情報などの大量かつ多様なデータを、さまざまな視点や条件でインタラクティブに分析して業務やサービスに反映させる、ビッグデータ分析の重要性が高まっています。分析には、オープンソースのHadoopデータ処理基盤が広く使用されていますが、高速化のためには多数のサーバーが必要であり、機器や管理のコスト増大が課題となっています。
日立は、2016年にFPGAを用いた高速データ処理技術を開発*3しています。しかし、この技術は、Hadoopデータ処理基盤とはデータ管理方式の異なる、自社のデータベースを対象とした技術であり、データベース管理ソフトウェア自体にも個別のカスタマイズを行っているため、Hadoopデータ処理基盤への適用は困難でした。
そこで、今回日立は、Hadoopデータ処理基盤においてFPGAを用いた高速データ処理を実現する技術を開発しました*4。開発した技術の特長は以下の通りです。
1. FPGA向けに処理効率を最適化する、データ処理手順変換技術
Hadoopデータ処理基盤のデータ処理エンジンは、CPUを用いてソフトウェアで順次処理を実行することを前提に、データの取得・検索・演算といったデータ処理の手順を最適化しています。しかし、この処理手順をそのまま実行しても、ハードウェアが得意とする並列処理による高速化の効果を十分に生かすことができません。そこで、Hadoopの処理手順を解析し、分散処理効率を考慮した上で、FPGAでの並列処理に適した順序に処理命令を変換する、データ処理手順変換技術を開発しました。これにより、FPGAの回路を無駄なく効率的に利用可能となります。
2. さまざまなデータの形式を解析してFPGAで高速に処理する回路設計
従来は、FPGA上で処理を行う場合は、日付や数値、文字などのデータ形式を、ハードウェアで処理しやすい形式に限定し、データの種類ごとに専用の処理回路を用意する必要がありました。しかし、Hadoopデータ処理基盤では、例えば同じ日付のデータでもUNIX通日型、ユリウス通日型など複数の形式を許容するため、多くの専用処理回路が必要となり、搭載規模に限界のあるFPGAの回路領域を有効に活用できません。そこで、さまざまなデータ*5の形式やサイズを判別する解析回路を設け、データ形式やサイズに応じて複数のデータを一つの回路でまとめて処理するなど、並列処理の最適化調整を行う回路設計を考案しました。これにより、さまざまなデータに対応できるだけでなく、検索処理や集約処理の回路を無駄なく利用した並列処理が可能となり、高速データ処理を実現します。
本技術をHadoopデータ処理基盤に適用し、サンプルデータの分析を行った結果、データ処理性能を最大100倍に高速化できることを確認しました。これにより、高速分析に必要なサーバー数を大幅に削減することができるため、現在広く行われているHadoopベースのビッグデータ分析の低コスト化が可能です。日立は、今後、お客さまとの実証実験を通じて、本技術の実用化をめざします。
なお、本成果は、2017年11月13日(月)~16日(木)に米国・デンバーで開催される「SC17(The International Conference for High Performance Computing, Networking, Storage and Analysis)」において、技術展示を行う予定です。
本リリースの詳細は下記URLをご参照ください。
http://www.hitachi.co.jp/New/cnews/month/2017/11/1114.html
概要:日立製作所
詳細は www.hitachi.co.jp をご参照ください。
Copyright 2017 JCN Newswire. All rights reserved. www.jcnnewswire.com
蛙亭イワクラ、せいや結婚式で号泣 初めて食事を奢られた「あのきもいせいやさんが…」
47歳女芸人 スギちゃん宅に上がり込んでやったこと「家族全員にしてあげました」
峯岸みなみ、大物歌手とコンビニで初遭遇「全部カゴの中のものを買ってくれて…」驚きの過去
伊藤沙莉、NHK朝ドラ「虎に翼」16・8% 寅子は長官の息子・航一と出会う
目黒蓮主演 フジ月9「海のはじまり」第1話視聴率は8・0% 夏は水季との記憶に思いをはせ…
気象予報士、ロケット打ち上げで“爆泣き” 動画反響「こんなに感動すると思わんかった…」
北朝鮮、新型「戦術弾道ミサイル」の試験発射に成功と発表
「プリキュア」歌手、池田彩 第2子妊娠「毎日を大切に過ごしていきたい」
複数の水力発電所を持つ徳島県 売電収入増へあの手この手
「虎に翼」“航一”岡田将生「実はいい人?」寅子と「再婚フラグ」本に寅子の名前も載る
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
【ネタバレ?】史実で見るキングダムの今後の展開まとめ〜中華統一までの全体像
「あまりにもデカすぎる…」三田悠貴、迫力バスト際立つ小面積ビキニショットにネット騒然
丸亀製麺の「丸亀うどーなつ」が販売開始で完売店舗続出!過去の「うどんで作ったドーナッツ」と比較すると……
ひまそらあかねを無視するマスコミ、岩下の新生姜社長が名前を出すだけで「不買運動」が叫ばれる事態に
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
元セクシー女優上原亜衣「過去のことは親には今でも言ってない」「胸張って言える仕事ではない」
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
「エロい」42歳山川恵里佳、白ビキニのオフショ動画4連発!20年ぶりグラビア復帰「最ッ高」
中国・日本人母子刺傷 止めに入ったバス案内係の中国人女性死亡
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
【ネタバレ?】史実で見るキングダムの今後の展開まとめ〜中華統一までの全体像
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
イケメンだから許される!堀北真希と山本耕史の「馴れ初め」が映画化希望するレベル
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
都知事選掲示板にヌードポスター ひろゆき氏「世も末」 SNSで批判噴出
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
蛙亭イワクラ、せいや結婚式で号泣 初めて食事を奢られた「あのきもいせいやさんが…」
47歳女芸人 スギちゃん宅に上がり込んでやったこと「家族全員にしてあげました」
峯岸みなみ、大物歌手とコンビニで初遭遇「全部カゴの中のものを買ってくれて…」驚きの過去
伊藤沙莉、NHK朝ドラ「虎に翼」16・8% 寅子は長官の息子・航一と出会う
目黒蓮主演 フジ月9「海のはじまり」第1話視聴率は8・0% 夏は水季との記憶に思いをはせ…
気象予報士、ロケット打ち上げで“爆泣き” 動画反響「こんなに感動すると思わんかった…」
北朝鮮、新型「戦術弾道ミサイル」の試験発射に成功と発表
「プリキュア」歌手、池田彩 第2子妊娠「毎日を大切に過ごしていきたい」
複数の水力発電所を持つ徳島県 売電収入増へあの手この手
「虎に翼」“航一”岡田将生「実はいい人?」寅子と「再婚フラグ」本に寅子の名前も載る