このページの本文へ移動

富士通

サイト内検索
サイト内検索 閉じる

世界最高の学習速度を達成!高精度なAIを実現する「Deep Learning」の最先端技術

多層ニューラルネットの大量データによる学習手法として研究が進む「Deep Learning」

最近、耳にする機会が多い「Deep Learning」(ディープラーニング・深層学習)。ニューラルネット(注1)を用いて大量のデータを何度も学習することで、認識や分類などの精度向上を図る手法です。近年、急速に研究が進んでおり、特に画像認識や文字認識、音声認識においては、人間を超える認識率が達成されています。

Deep Learningでは、精度を上げるために大量のデータを扱います。このため、CPU(中央処理装置)よりも高速な演算に適している「GPU」(注2)が広く利用されています。特に、近年、ニューラルネットは多層化などの大規模化が進んでおり、それに伴って大量データの学習には膨大な時間がかかるため、「複数のGPUを並列に動作させ、高速化を図る」など、GPUを活用する技術が注目されています。

1台のコンピュータで搭載できるGPU数は上限があるため、多数のGPUを利用するためには高速なネットワークで複数のコンピュータを相互接続し、データを共有しながら学習処理を進める必要があります。しかし、並列処理では共有が必要なデータ量と演算時間にばらつきがあるのに加え、データ共有が複雑になるため、コンピュータ間の通信時間が余分にかかります。また、GPUで搭載しているメモリの量は一般的なコンピュータより小さいため、高速に学習できるニューラルネットの規模が制限されるという課題がありました。

(注1)人間の脳の神経回路の仕組みを模したモデル。コンピュータに学習能力を持たせることにより、様々な問題を解決する。
(注2)Graphics Processing Unit。パーソナルコンピュータやワークステーション等の画像処理を担当する主要な部品の一つ。近年は、GPUを汎用演算に用いるGPGPU(General Purpose GPU)としての活用が注目されている。

二つの技術でDeep Learningの高速化&大規模化を図る

これらの課題を解決するため、富士通研究所では以下の技術を開発しました。

1. Deep Learningの高速化処理技術
Deep Learningの処理の順序と共有するデータサイズの特徴に合わせて処理方法を変えるため、連続的に続く複数の演算で、次の学習処理の開始に必要となるデータが先にそれぞれのコンピュータで共有されるように転送の優先順序を自動的に制御し、次の学習処理の開始までの待ち時間を短縮します(図1)。

(図1)データ共有のスケジューリング技術

また、演算結果を全コンピュータで共有する処理において、元となるデータの量に応じて最適な演算方法を行うよう自動で振り分けることにより、全体の演算時間を最小にします(図2)。

(図2)共有データサイズが小さい場合(上段)と大きい場合(下段)による、処理の違い

2. GPUのメモリ効率化技術
大幅に学習速度が低下してしまうモデル並列の手法を使わずに、1台のGPUで計算できるニューラルネットの規模を拡大できるメモリ効率化技術を開発しました。学習の開始時に、ニューラルネットの各層の構造を解析し、より大きなデータを配置しているメモリ領域を再利用できるように演算の処理順序を切り替えることにより、メモリ使用量を削減します(図3)。

(図3)メモリ効率化技術

世界最高の学習速度を達成!高精度な開発が可能に

富士通研究所では、上記二つの技術をそれぞれDeep Learningフレームワーク「Caffe」に実装し、学習時間、ならびにGPUの内部メモリ使用量を計測しました。

学習時間においては、GPUを1台だけ使用した場合に比べ27倍の速度を達成。本技術適用前と比較すると、GPU16台で46%、64台で71%の学習速度の向上を実現しました(当社比/世界最高速度・図4)。また、GPUの内部メモリ使用量においては、本技術適用前と比較し40%以上のメモリ使用量削減を達成するなど、GPU1台あたり最大で約2倍の規模のニューラルネットを学習することが可能になりましました。

(図4)複数GPU使用時の1GPU使用時に対する高速化率

二つの技術を組み合わせることで、ニューラルネットの高速化&大規模化が実現し、ロボット・自動車の自動制御や、医療・金融などの分野において病変分類や株価予測に独自のニューラルネットモデルを開発する場合など、複雑な処理が求められる大規模なニューラルネットにおいて、GPUの性能を生かした高速な学習演算が可能となります。これにより、Deep Learningの研究開発時間を短縮することができ、より高精度・高品質なモデルの開発の加速が可能となります。

富士通研究所では、これらの二つの技術を富士通のAI技術「Human Centric AI Zinrai(ジンライ)」の一部として、2017年4月から順次実用化を予定しています。今後も、学習速度のさらなる向上に向けてし、技術の改善を行っていきます。

FUJITSU JOURNAL - に関するお問い合わせ

特集

富士通フォーラム2016
セキュリティ
進化を続ける人工知能
IoT・ビッグデータ
環境問題の解決にICTで挑む
交通・車 [東京モーターショー2015 出展]

人気ランキング

1 日本が誇るスーパーコンピュータ「京」が「Graph500」で再び世界第1位に
2 サーバを丸ごと液浸して消費電力を30%削減! 斬新な冷却技術でデータセンターに革命を
3 「ろう者に音を届けたい」(前編) 髪の毛で音を感じる全く新しいデバイス「Ontenna」
4 ポスト「京」プロセッサの命令セットを紹介
5 AIが実現する近未来 「CEATEC JAPAN 2016」富士通ブースレポート

おすすめ

100倍以上の発生効率を実現する人工光合成における技術とは
最新ICTソリューションで台湾の「デジタル国家計画」に貢献
日々巧妙化するサイバー攻撃、今とるべきセキュリティの具体的な対策が結集!
国籍混合メンバーでアイデアソンを開催!テクノロジーを使って豊かな森を育てよう

google+もチェック

富士通 Biz News ビジネスに役立つ情報をメールマガジンでお届けします

FUJITSU JOURNAL - に関するお問い合わせ

FUJITSU アプリ

Google+

アンケートにご協力ください

FUJITSU JOURNALをご覧いただき、ありがとうございます。読者のみなさまの貴重なご意見を今後のWEBサイト改善に役立てたいと考えていますので、アンケートへのご協力をお願いいたします。

アンケートに答える»

アンケートにご協力ください

FUJITSU JOURNALをご覧いただき、ありがとうございます。読者のみなさまの貴重なご意見を今後のWEBサイト改善に役立てたいと考えていますので、アンケートへのご協力をお願いいたします。

アンケートに答える»

ページの先頭へ