NECとHortonworks：SX-Aurora TSUBASAを活用したビッグデータ向け高速分析プラットフォームを共同開発

日本電気（NEC）とHortonworksは、NECの次世代イノベーションプラットフォーム「SX-Aurora TSUBASA」上で、AIにも利用可能なビッグデータ向け高速分析プラットフォームを共同開発する。

　2017年9月にビッグデータ活用における大規模分散処理プラットフォーム分野での戦略的協業の強化を発表(注1)した両社は、より幅広い業種や分野でビックデータの高速かつ高度な分析を可能にするため、両社の強みを活かしたソリューション基盤を、2018年度中に提供予定。また、今回の共同開発の成果はオープンソース（OSS）として公開を予定しており、多様な環境や様々な業種ごとのユースケースで利用できるようにする。




■ 共同開発の内容


・「SX-Aurora TSUBASA」が、Hadoop／Spark領域での代表的なリソース管理／分散アプリケーション管理基盤である「YARN(ヤーン、注2)」に対応することで、従来のHadoop／Sparkによるビッグデータ解析プログラムが「SX-Aurora TSUBASA」上で管理可能となるため、容易なアプリケーション連携とシステム管理者の負荷軽減を実現する。「YARN」を利用している一般的なシステム構成では、従来(注3)同等の解析を、最大99%少ないサーバリソースで実行できる。


・NECのミドルウエア「Frovedis(フロベディス、注4)」をSparkに組み込むことにより、「SX-Aurora TSUBASA」上でのSparkを使用したAI（機械学習）アプリケーションが、従来(注3)のサーバ比で最大100倍高速に動作。Spark上で、機械学習用のライブラリ「MLlib(エムエルリブ、注5)」などを活用したAI・ビッグデータ処理を高速に実行したい利用者へ、通常のHadoop/Sparkと同様な管理環境で利用可能な使いやすいプラットフォームとして提供していく。




　またNECは、「SX-Aurora TSUBASA」をHadoopアプライアンス製品「Data Platform for Hadoop」に適用し、AI・ビッグデータ分析をより高速かつ正確に実行できる環境を提供することで、顧客のビジネス成果向上に貢献する。




NEC執行役員・西村知泰氏のコメント


「HortonworksとNECが、「SX-Aurora TSUBASA」向けにSpark環境の共同開発を合意できたことはNECにとって大変有意義なことです。今回の協業によって、先端のSpark上でAIやビッグデータをご利用のお客様に、これまでの常識を超えた高速計算環境を提供していきます」




ホートンワークスジャパン執行役員社長・廣川裕司氏のコメント


「機械学習による分析に極めて高い精度を求めるには、膨大なデータを対象にする必要があり、SX-Aurora TSUBASAの高速処理能力とHortonworks HDPが提供するスケーラビリティのコンビネーションは、グローバル市場に於いて革新的な選択肢として注目を集めると確信しています」




　なおNECは、「SX-Aurora TSUBASA」を、下記2イベントに出展する。


・「DataWorks Summit Tokyo 2018」(会期：10/16(火)、会場：赤坂インターシティAIR)


https://jp.dataworkssummit.com/tokyo-2018/


・NECグループが開催する「C&Cユーザーフォーラム＆iEXPO2018」(会期：11/8(木)～11/9(金)、会場：東京国際フォーラム)


「C&Cユーザーフォーラム&iEXPO2018」について


https://uf-iexpo.nec/

(注1)　NECとHortonworks、ビッグデータの分散処理領域における戦略的協業を強化(2017.9.25)　 https://jpn.nec.com/press/201709/20170925_01.html


(注2)　Apache Hadoop/Spark環境で、CPUやメモリなどのコンピューティングリソースの各ジョブへの割り付けやスケジュールを管理する基盤


(注3)　Xeon (Gold 6126) 1ソケットとのNEC比較結果。


(注4)　NECの中央研究所で開発した技術を組み込んだ機械学習向けのデータ処理ミドルウェア(「NEC、ベクトル型コンピュータに適した機械学習向けデータ処理技術を開発」https://jpn.nec.com/press/201707/20170703_02.html)


　OSSとして公開(https://github.com/frovedis/frovedis)


(注5)　Java, Scala, Python, 及びR言語から利用可能なApache Spark用の機械学習ライブラリ