日立、OSSベースでのビッグデータ分析を最大100倍に高速化する技術を開発
- 2017年11月14日 15:00:00
- テクノロジー
- JCN Newswire
近年、IoTに用いられるセンサーをはじめ、金融機関の口座取引記録や、ソーシャルメディアの情報などの大量かつ多様なデータを、さまざまな視点や条件でインタラクティブに分析して業務やサービスに反映させる、ビッグデータ分析の重要性が高まっています。分析には、オープンソースのHadoopデータ処理基盤が広く使用されていますが、高速化のためには多数のサーバーが必要であり、機器や管理のコスト増大が課題となっています。
日立は、2016年にFPGAを用いた高速データ処理技術を開発*3しています。しかし、この技術は、Hadoopデータ処理基盤とはデータ管理方式の異なる、自社のデータベースを対象とした技術であり、データベース管理ソフトウェア自体にも個別のカスタマイズを行っているため、Hadoopデータ処理基盤への適用は困難でした。
そこで、今回日立は、Hadoopデータ処理基盤においてFPGAを用いた高速データ処理を実現する技術を開発しました*4。開発した技術の特長は以下の通りです。
1. FPGA向けに処理効率を最適化する、データ処理手順変換技術
Hadoopデータ処理基盤のデータ処理エンジンは、CPUを用いてソフトウェアで順次処理を実行することを前提に、データの取得・検索・演算といったデータ処理の手順を最適化しています。しかし、この処理手順をそのまま実行しても、ハードウェアが得意とする並列処理による高速化の効果を十分に生かすことができません。そこで、Hadoopの処理手順を解析し、分散処理効率を考慮した上で、FPGAでの並列処理に適した順序に処理命令を変換する、データ処理手順変換技術を開発しました。これにより、FPGAの回路を無駄なく効率的に利用可能となります。
2. さまざまなデータの形式を解析してFPGAで高速に処理する回路設計
従来は、FPGA上で処理を行う場合は、日付や数値、文字などのデータ形式を、ハードウェアで処理しやすい形式に限定し、データの種類ごとに専用の処理回路を用意する必要がありました。しかし、Hadoopデータ処理基盤では、例えば同じ日付のデータでもUNIX通日型、ユリウス通日型など複数の形式を許容するため、多くの専用処理回路が必要となり、搭載規模に限界のあるFPGAの回路領域を有効に活用できません。そこで、さまざまなデータ*5の形式やサイズを判別する解析回路を設け、データ形式やサイズに応じて複数のデータを一つの回路でまとめて処理するなど、並列処理の最適化調整を行う回路設計を考案しました。これにより、さまざまなデータに対応できるだけでなく、検索処理や集約処理の回路を無駄なく利用した並列処理が可能となり、高速データ処理を実現します。
本技術をHadoopデータ処理基盤に適用し、サンプルデータの分析を行った結果、データ処理性能を最大100倍に高速化できることを確認しました。これにより、高速分析に必要なサーバー数を大幅に削減することができるため、現在広く行われているHadoopベースのビッグデータ分析の低コスト化が可能です。日立は、今後、お客さまとの実証実験を通じて、本技術の実用化をめざします。
なお、本成果は、2017年11月13日(月)~16日(木)に米国・デンバーで開催される「SC17(The International Conference for High Performance Computing, Networking, Storage and Analysis)」において、技術展示を行う予定です。
本リリースの詳細は下記URLをご参照ください。
http://www.hitachi.co.jp/New/cnews/month/2017/11/1114.html
概要:日立製作所
詳細は www.hitachi.co.jp をご参照ください。
Copyright 2017 JCN Newswire. All rights reserved. www.jcnnewswire.com
「輸入」の正しい読み方は「しゅにゅう」?読み方が間違ったまま定着した漢字12選
フジ「めざまし8」大谷翔平の新居報道謝罪「プライベートな空間を訪れることはお控え頂き…」
第1子妊娠の峯岸みなみ、“美しすぎる”妊婦写真連続公開!「もう異世界」「妖精」「愛おしい」
「新宿野戦病院」トレンド発進もX民混乱、誤投稿「新宿夜戦病院」も混在「やってしまった」
被爆した3歳の遺品「伸ちゃんの三輪車」 再現作がスイスで展示へ
骨折のNovelbright竹中雄大、新たにライブ出演キャンセルを発表「息を吸うと痛くて」
民主党議員数十人、バイデン氏に撤退要求検討 討論会で不安に拍車
伊藤沙莉、NHK朝ドラ「虎に翼」17・2% 15人の最高裁判事の中には穂高も
元ジャニーズJr.のカウアン・オカモト、両手負傷で手術「今回の試練も絶対乗り越えます」
バイデン大統領、トランプ氏にTV討論会完敗も…ジル夫人がヴォーグ誌8月号の表紙飾り物議
「輸入」の正しい読み方は「しゅにゅう」?読み方が間違ったまま定着した漢字12選
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
「あまりにもデカすぎる…」三田悠貴、迫力バスト際立つ小面積ビキニショットにネット騒然
元セクシー女優上原亜衣「過去のことは親には今でも言ってない」「胸張って言える仕事ではない」
AV女優めぐる批判 倉田真由美氏が疑問「飯島愛ちゃんが存命の頃…」
少女にみだらな行為で逮捕…38歳俳優が謝罪も「僕はまだ、表現者として生きたい」活動継続へ
全裸で土下座させ撮影か 21歳を殺人罪などで起訴 17歳の橋転落死
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
前園真聖、闘病していた愛する“家族”との別れを報告「寂しさが込み上げて涙がでていたり…」
【ネタバレ?】史実で見るキングダムの今後の展開まとめ〜中華統一までの全体像
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
「輸入」の正しい読み方は「しゅにゅう」?読み方が間違ったまま定着した漢字12選
【ネタバレ?】史実で見るキングダムの今後の展開まとめ〜中華統一までの全体像
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
イケメンだから許される!堀北真希と山本耕史の「馴れ初め」が映画化希望するレベル
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
「輸入」の正しい読み方は「しゅにゅう」?読み方が間違ったまま定着した漢字12選
フジ「めざまし8」大谷翔平の新居報道謝罪「プライベートな空間を訪れることはお控え頂き…」
第1子妊娠の峯岸みなみ、“美しすぎる”妊婦写真連続公開!「もう異世界」「妖精」「愛おしい」
「新宿野戦病院」トレンド発進もX民混乱、誤投稿「新宿夜戦病院」も混在「やってしまった」
被爆した3歳の遺品「伸ちゃんの三輪車」 再現作がスイスで展示へ
骨折のNovelbright竹中雄大、新たにライブ出演キャンセルを発表「息を吸うと痛くて」
民主党議員数十人、バイデン氏に撤退要求検討 討論会で不安に拍車
伊藤沙莉、NHK朝ドラ「虎に翼」17・2% 15人の最高裁判事の中には穂高も
元ジャニーズJr.のカウアン・オカモト、両手負傷で手術「今回の試練も絶対乗り越えます」
バイデン大統領、トランプ氏にTV討論会完敗も…ジル夫人がヴォーグ誌8月号の表紙飾り物議