日立、OSSベースでのビッグデータ分析を最大100倍に高速化する技術を開発
- 2017年11月14日 15:00:00
- テクノロジー
- JCN Newswire
- コメント
近年、IoTに用いられるセンサーをはじめ、金融機関の口座取引記録や、ソーシャルメディアの情報などの大量かつ多様なデータを、さまざまな視点や条件でインタラクティブに分析して業務やサービスに反映させる、ビッグデータ分析の重要性が高まっています。分析には、オープンソースのHadoopデータ処理基盤が広く使用されていますが、高速化のためには多数のサーバーが必要であり、機器や管理のコスト増大が課題となっています。
日立は、2016年にFPGAを用いた高速データ処理技術を開発*3しています。しかし、この技術は、Hadoopデータ処理基盤とはデータ管理方式の異なる、自社のデータベースを対象とした技術であり、データベース管理ソフトウェア自体にも個別のカスタマイズを行っているため、Hadoopデータ処理基盤への適用は困難でした。
そこで、今回日立は、Hadoopデータ処理基盤においてFPGAを用いた高速データ処理を実現する技術を開発しました*4。開発した技術の特長は以下の通りです。
1. FPGA向けに処理効率を最適化する、データ処理手順変換技術
Hadoopデータ処理基盤のデータ処理エンジンは、CPUを用いてソフトウェアで順次処理を実行することを前提に、データの取得・検索・演算といったデータ処理の手順を最適化しています。しかし、この処理手順をそのまま実行しても、ハードウェアが得意とする並列処理による高速化の効果を十分に生かすことができません。そこで、Hadoopの処理手順を解析し、分散処理効率を考慮した上で、FPGAでの並列処理に適した順序に処理命令を変換する、データ処理手順変換技術を開発しました。これにより、FPGAの回路を無駄なく効率的に利用可能となります。
2. さまざまなデータの形式を解析してFPGAで高速に処理する回路設計
従来は、FPGA上で処理を行う場合は、日付や数値、文字などのデータ形式を、ハードウェアで処理しやすい形式に限定し、データの種類ごとに専用の処理回路を用意する必要がありました。しかし、Hadoopデータ処理基盤では、例えば同じ日付のデータでもUNIX通日型、ユリウス通日型など複数の形式を許容するため、多くの専用処理回路が必要となり、搭載規模に限界のあるFPGAの回路領域を有効に活用できません。そこで、さまざまなデータ*5の形式やサイズを判別する解析回路を設け、データ形式やサイズに応じて複数のデータを一つの回路でまとめて処理するなど、並列処理の最適化調整を行う回路設計を考案しました。これにより、さまざまなデータに対応できるだけでなく、検索処理や集約処理の回路を無駄なく利用した並列処理が可能となり、高速データ処理を実現します。
本技術をHadoopデータ処理基盤に適用し、サンプルデータの分析を行った結果、データ処理性能を最大100倍に高速化できることを確認しました。これにより、高速分析に必要なサーバー数を大幅に削減することができるため、現在広く行われているHadoopベースのビッグデータ分析の低コスト化が可能です。日立は、今後、お客さまとの実証実験を通じて、本技術の実用化をめざします。
なお、本成果は、2017年11月13日(月)~16日(木)に米国・デンバーで開催される「SC17(The International Conference for High Performance Computing, Networking, Storage and Analysis)」において、技術展示を行う予定です。
本リリースの詳細は下記URLをご参照ください。
http://www.hitachi.co.jp/New/cnews/month/2017/11/1114.html
概要:日立製作所
詳細は www.hitachi.co.jp をご参照ください。
Copyright 2017 JCN Newswire. All rights reserved. www.jcnnewswire.com
「ABC座」開幕、事務所の名曲31曲圧巻パフォーマンス 橋本良亮「敬意を持って歌います」
楽天トラベル「月末セール」12月2日まで いつ開催?攻略法、キャンペーン期間を解説
【阪神】甲子園で投球できる「マウンド投球イベント」12・22実施 球場アナウンスで名前も
EHグループとNIM、海運業向けのゼロエミッション水素燃料電池ソリューションの推進に関する基本合意書を締結
A.B.CーZ、4人体制初の主演舞台「ABC座」開催 橋本良亮は王子様キャラから“脱皮”
【巨人】メジャー挑戦の菅野智之「僕の方にはまだ話は来ていない」交渉の現状や今後の見通し語る
私立恵比寿中学の星名美怜、突然の契約終了報告「14年間はかけがえのない宝物」今後の活動未定
”ネットグラビア界の女王”花雨、美ボディに赤のランジェリー×トレンチコートの刺激的ショット公開
神戸空港、第2ターミナルを2025年4月18日にオープン 国際線チャーター便を受け入れへ
【ダイアナ】ビジューデザインアイテムに池袋パルコ店限定カラーが登場♪
前澤友作氏「全ての方向で法的措置を検討します」と警告
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
二階堂ふみが結婚!?お相手が衝撃的過ぎてネット民「マジか・・・」
3刷目の重版決定!榎原依那のファースト写真集「Inaism」から、完全未公開カットをご紹介♡
クロちゃんを騙した「レイちゃま(小林レイミ)」の現在が別人すぎると話題に
ナイナイ岡村、鈴木紗理奈の不倫報道に複雑な思い「チクりがなければ…」
え!42歳?「我慢できなくなっちゃった」熊田曜子“透け透け入浴”超絶ボディーに悶絶の声
藤本美貴、「早く死ぬ確率が高く、不安定な」庄司智春と結婚した理由を聞かれ“一言”で回答
元鳥取知事の片山善博氏「かえってマイナスに作用したんじゃ」斎藤元彦氏兵庫県知事再選で分析
へずまりゅう、妻を襲撃した男の“素性”情報を報告「妻は精神をズタボロにされて」
クロちゃんを騙した「レイちゃま(小林レイミ)」の現在が別人すぎると話題に
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
二階堂ふみが結婚!?お相手が衝撃的過ぎてネット民「マジか・・・」
四千頭身、テレビから消えた理由を明かすも批判殺到「人のせいにするな」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
父が再婚の丸山隆平(36)現在の家族関係がとんでもないことになっていたと話題に
3時のヒロイン福田麻貴(32)は元アイドルだった!昔の姿がかわいいとヲタク歓喜
多部未華子(30)結婚の裏事情あまりにも恐ろしすぎると話題に!
たぬかな、「あのチビやろ?」迷惑系黒人YouTuberへの苦言が物議
「愛が生まれた日」藤谷美和子(56)の現在がヤバい!?徘徊生活を送っていた過去も明らかに。
「ABC座」開幕、事務所の名曲31曲圧巻パフォーマンス 橋本良亮「敬意を持って歌います」
楽天トラベル「月末セール」12月2日まで いつ開催?攻略法、キャンペーン期間を解説
【阪神】甲子園で投球できる「マウンド投球イベント」12・22実施 球場アナウンスで名前も
EHグループとNIM、海運業向けのゼロエミッション水素燃料電池ソリューションの推進に関する基本合意書を締結
A.B.CーZ、4人体制初の主演舞台「ABC座」開催 橋本良亮は王子様キャラから“脱皮”
【巨人】メジャー挑戦の菅野智之「僕の方にはまだ話は来ていない」交渉の現状や今後の見通し語る
私立恵比寿中学の星名美怜、突然の契約終了報告「14年間はかけがえのない宝物」今後の活動未定
”ネットグラビア界の女王”花雨、美ボディに赤のランジェリー×トレンチコートの刺激的ショット公開
神戸空港、第2ターミナルを2025年4月18日にオープン 国際線チャーター便を受け入れへ
【ダイアナ】ビジューデザインアイテムに池袋パルコ店限定カラーが登場♪