スーパーコンピュータの活用で、ビッグデータの分析結果をいち早くビジネスに反映

ビッグデータ分析対象のデータ量は飛躍的に増大

近年、企業によるビッグデータ分析の活用レベルは、検証フェーズから実用・商用フェーズに移行しつつあり、分析対象とするデータの量や種類は飛躍的に増大しています。これに伴い、テラバイトを超える大量データの分析を希望する企業が急速に増えています。例えば、数千万から数億人規模の顧客を対象とする大規模分析の場合、ハイスペックなサーバを用いたとしても膨大な時間が必要となります。

多くの企業では、一部のデータを抽出して分析するなどの対処を行っています。しかし、1 to 1マーケティングや工場プラント異常検知などは、膨大なデータ全体を分析対象とする必要があるため、分析基盤を高速化させることが課題になっていました。

従来7日間かかっていた超大規模データの計算を、約5時間に短縮

富士通は、ビッグデータ分析サービス「データキュレーションサービス」に向けて、統計処理や機械学習など、計算量が多い各種分析を、1,000コアを超えるCPUで並列処理可能なシステムを構築しました。

当システムは、スーパーコンピュータ「京」などの開発・提供を通じて培ったHPC(ハイパフォーマンスコンピューティング)技術を用い、自社データセンター内にビッグデータ分析専用のHPCクラスタを構築して実現したものです。

複数のコンピュータを高速通信網で結び、空いているサーバに効率よく計算を振り分けることにより、テラバイト以上の超大規模データの分析処理を従来の30倍の速さで計算することが可能になりました。これは、従来7日間かかっていた超大規模データの計算を、約5時間に短縮 するほどの速さです。

超大規模データの分析処理時間比較

これにより、日本の全人口(1.27億人)に対する疾病リスク予測のほか、マーケティングの新指標作成、会員の退会予測、商品の売上/欠品予測、ロイヤルカスタマーの特徴抽出、コールセンターの入電数予測など、ビッグデータの分析結果をビジネスに反映していくことが可能になります。

富士通は今後、データキュレーションサービスにより、分析回数やデータ量を増やし、提供する計算式の予測精度を高めていきます。