"体操ニッポン"から、スポーツの世界を変える。3Dセンシング技術を用いた体操競技採点支援

【未来を創るチカラ Vol.3 前編】

次々に繰り出される新技。目視での判定は困難を極める。

「スポーツで、判定結果を確認する"チャレンジ"ってご存知ですか。今では、テニス、野球、サッカー、バレーボールなどいろいろな競技でルール化されていますよね。覚えている方も多いと思いますが、体操競技では2012年のロンドンオリンピック 男子団体の最終演技で、内村航平選手のあん馬の着地技(終末技)が未成立と判定され一旦4位となったのち、審議によって結果が覆り、銀メダルとなりました。これは日本チームから "チャレンジ"をした結果なのですが、体操競技で得点の問合せをする場合は$300を払うルールがあり、そのシーンがTVに映し出されてしまったことで、多くの議論が巻き起こったんです。人間の目は完璧ではないので判定に揺れが生じるのは仕方のないことですが、ほんの僅かな点差がメダルの色や選手生命を左右しかねないのも事実。選手のレベルアップに加え、4年毎のルール改正もあり、審判員に掛かる負担は年々増しています。こうした現状を受け、体操競技の採点をもっと透明で、わかりやすく、正確なものにするために開発が進められているのが富士通独自の『3Dセンシング技術』なんです」
そう語るのは、富士通の藤原英則。3Dセンシングプロジェクトの企画・推進の責任者です。

観る人にも分かりやすく、体操競技をもっと身近に。

国際体操連盟総会でのデモンストレーション。モニター(写真中央)に選手が行った技が解析されていく様子が、次々と表示されていく。

日本体操協会が培ってきた採点ノウハウと、富士通研究所の最先端技術を融合させた"3Dセンシング技術を用いた体操競技採点支援"。富士通が独自に開発した3Dセンサーで人の動きを立体的に捉え、技を認識、採点します。

「今までは審判員が目視で、演技の進行と並行して手書きで採点シートに記入、演技終了後に得点を計算して採点を行っていました。これに対し、3Dセンシング技術を使えば技が決まった瞬間、技の名前、難易度、点数などがモニターに次々に表示されていきます。これにより、審判員の負担が軽減されるだけでなく、選手も最高の演技の結果をスムーズに評価してもらうことで、日々の練習の成果が報われます。また、リアルタイムで演技の情報や選手の凄さを伝えられることで、観る人にとっても体操競技がもっと身近で魅力的なスポーツになると思うんです」(藤原)

3Dレーザーセンサーで選手の動きを捉え、技のデータ辞書とマッチングし判定。

3Dレーザーセンサー(写真右)は、選手の身体にマーカーを付けなくても離れた場所から骨格の動きを正確に捉えることができる。

それでは、「3Dセンシング技術を用いた体操競技採点支援」の仕組みはどのようなものでしょうか?富士通研究所の佐々木和雄が解説します。
「まず、3Dレーザーセンサーが1秒間に230万点という細かなレーザーを選手に向かって発光し、レーザーが返ってくるまでの時間から身体の位置や体勢を正確に捉えます。そこから骨格の位置を推定して、手足の位置や関節の曲がり具合、体をひねった回数などを導き、体操競技の動きをデータベース化した『技のデータ辞書』と照合して判定します。3Dレーザーセンサー、骨格認識ソフトウェア、技のデータ辞書とのマッチング、この3つの技術を組み合わせることで、リアルタイムで高精度な採点が可能になるんです」

これまでにも選手が身体にマーカーを付けて動きを捉えるモーションキャプチャーという技術がありましたが、マーカーに違和感を感じて普段通りの演技ができない、大会で利用できないといった問題がありました。
「富士通の3Dセンシング技術はマーカーを付ける必要がないので、選手の演技に支障がなく、大会でも使用できます。装置も小型スピーカーのような外観で、観戦の邪魔になりません。2020年までの実用化を目指して、今開発を進めているところなんです」(佐々木)

趣味のゴルフから生まれたアイデアがすべてのはじまり。

3Dセンシングプロジェクト開発担当の富士通研究所・佐々木和雄。

3Dセンシング技術は、もともと自動車のモニター向けに開発を進めていた3Dレーザーセンサーと、リハビリ向けに開発を進めていた骨格認識ソフトウェアを融合させた"人の動きをセンシングする技術"をスポーツへと応用したもの。これらの技術を組み合わせ、体操競技で実現しようと考えたのが佐々木でした。
「きっかけは、趣味のゴルフです。自分のフォームをどう改善すればいいのか、スクールに通ってもいまいち掴めなくて。これをなんとかできないかとずっと考えていたところ、ふと『身体の動きや感覚といったものを数値化できないだろうか』とひらめいて。そこで、市販のセンサーとこれまでの自分の技術知識を組み合わせてゴルフのフォーム診断アプリケーションを作ってみたら、これがすごく分かりやすかったんです。富士通レディースで一般のゴルファーにも試してもらったところ、『調子のいい時の数値を見ながらトレーニングを行うと、感覚が掴みやすい』という声が多く、これは他のアプリケーションにも展開できそうだと手応えを感じました。一方で、他の用途に応用しようとすると技術課題がたくさんあり、研究所内の様々な技術スペシャリストを総動員してスポーツの3Dセンシングプロジェクトとしてスタートさせたんです」(佐々木)

難しい課題に果敢に挑む。これが富士通の"ものづくりDNA"。

3Dセンシングプロジェクトの企画・推進を担当する富士通の藤原英則。

佐々木が開発中の3Dセンシング技術に大きな可能性を見出した藤原は、スポーツの分野でさらなる活用が見込めないかと多方面にアプローチ。そんな中、日本体操協会と出会い、この技術を用いた体操競技採点支援を共同研究していくことになりました。
「周囲からは『最も採点が難しいと言われる体操競技に挑戦するなんて無謀だ』とか『もっとルールが分かりやすくて、メジャーなスポーツの方がいいのではないか』と言われることもありました。でも、未知の領域や難しい課題に果敢にチャレンジする姿勢こそが富士通のものづくりDNAであり、イノベーションにとって最も重要なこと。それに、身体の動きに関する基本的な要素が多く含まれている体操競技、なかでも最も採点が難しいあん馬での自動採点が可能になれば、他のスポーツにも応用しやすいと考えたんです」(藤原)
こうして藤原と佐々木は「富士通の技術で、スポーツの世界を変える!」と覚悟を決め、開発に乗り出したのです。

審判員の指導のもと技やルールを徹底的に学ぶ。

しかし、開発に着手したとたんに根本的な問題が発生。藤原、佐々木をはじめ、そもそもプロジェクトメンバーは体操競技に関して全くの素人。数百種類もある体操の技や難易度、採点基準を理解するところからスタートしました。
「初めて採点規則の冊子を手にした時、その分厚さと内容の難しさにまず驚きましたね。時間を見つけてはみんなで勉強会を開いて......当初はまるで受験生のような日々。それでも知識が追いつかなくて、日本体操協会の審判員に講義してもらったり、審判講習会に出かけたり、休日には元オリンピックの代表監督と一緒に試合を見に行って解説してもらうこともありました。この1年、体操関係者に本当に手厚く教えていただいたおかげで、少しずつ知識が身についていったんです」(藤原)

選手の速くて複雑な動きを、瞬時に正確に捉える難しさ。

開発の舞台裏を語る佐々木と藤原。一から立ち上げたプロジェクトだけにふたりの思い入れは強い。

その後、審判員と一緒に一つひとつの技を細かく分析しながら独自のアルゴリズムを開発し、採点方法をデジタル化。世界初の試みということもあり、議論につぐ議論を行ったと言います。
「体操競技の中でも最も難解とされているあん馬の自動採点を実現するというのが僕らに課せられた最初のミッションだったのですが、やはり苦戦しましたね。特にフロップやコンバインは複数の技で構成されているので、それぞれの技の成立条件を正確に捉えなければいけないのですが、選手の動きがとにかく速くて複雑で......。判定の精度と処理スピードを両立させるのがすごく難しかったです。数え切れないほどのトライ&エラーを繰り返して、ようやく現場で使える見込みが出てきました」(佐々木)

研究室を飛び出し、体操競技場に足を運ぶことで得た刺激や気づき、競技に向き合う選手の真摯な姿勢が様々な課題を乗り越える力になったという佐々木。インタビュー後編では引き続き、開発の舞台裏にフォーカス。イノベーションを実現するためのチーム力や心構え、体操以外の競技や他の分野への活用も見込まれる3Dセンシング技術の未来についても語ります。

株式会社富士通研究所 応用研究センター
ライフイノベーション研究所所長
佐々木和雄
1969年 島根県生まれ。学生時代は、体育会少林寺拳法部で副将。
1994年 富士通研究所へ入社後は、IoTのプラットフォーム研究に従事し、現在のエッジコンピューティングの走りとなる分散処理技術の研究成果を世の中に先駆けて発表。
現在は、IoTの適用先の一つとしてスポーツ分野に着目、人の動きをデータ化することで、選手(プレイヤー)の上達を早められないか取組中。

富士通株式会社
東京オリンピック・パラリンピック推進本部 企画・推進統括部統括部長
藤原英則
1970年 大阪府生まれ。前職は金融マン、富士通に転社後、大手SIerの営業。
2015年 東京オリンピック・パラリンピック推進本部でスポーツビジネスの企画、推進の統括部長として、Bリーグ、バスケ協会とのICTパートナー契約や体操協会との共同研究など、新ビジネスの企画の立上げを行う。
現在は、世界初の3Dセンシングによる体操プロジェクトの責任者。またスポーツ庁の委員も務めスポーツ行政にも関わりながらスポーツの産業化、国民のスポーツ振興・健康促進にも尽力する。

撮影協力:日本体育大学 体操競技部