このページの本文へ移動

富士通

サイト内検索
サイト内検索 閉じる

3Dパノラマ画像で現場の全景を把握!的確に指示を送れる遠隔作業支援技術

ベテラン作業者の不足、高齢化

今、工場現場や高速道路等の社会インフラを支える現場では、少子高齢化に伴いベテランの保守点検作業者の不足が深刻な問題となっています。そのため、経験の浅い現場作業者に対しオペレーションルーム等の遠隔地から、ベテランの支援者が的確なサポートを行う「遠隔作業支援」が注目を集めています。
従来、作業者が現場で保守や点検作業を行う時には、タブレットなどの内蔵カメラで静止画像を支援者に送信し、指示を受けながら作業を進めていました。しかし、カメラの画像は視野が狭い上ブレもあり、離れた場所にいる支援者にとって現場全体を把握しづらいという問題がありました。さらに、点検個所がフレームの外にあるような場合は、確認のために作業を中断してお互いにコミュニケーションをとる必要があり、情報支援の効率面でも問題がありました。

現場の立体画像で全景を把握、AR提示技術で的確な指示

このたび富士通研究所は、保守点検などで作業者が撮影した画像を使い、現場の全景を把握できる3次元パノラマ合成画面を生成してAR技術(注)を組み合わせることで、離れた場所からでも作業者への的確な指示の送信が可能な「作業支援技術」を開発しました。この技術により、支援者は広範囲に渡る作業現場の様子を任意の視点で俯瞰でき、作業者の位置情報をリアルタイムで把握しながら、全方位で指示を出すことが可能になります。
また、指示内容は即座に作業者の位置や向きに合わせてタブレットなどのスマートデバイスに伝達されるため、作業者は効率的にサポートを受けられるようになります。

(注)Augmented Reality(拡張現実)の略。人間の感覚(五感)で得られる情報(現実)に、ICTを利活用して得られるデジタル情報を重ね合わせて、人間の感覚を拡張・強化する技術。

この遠隔作業支援の仕組みは、現場の全景画像の生成を実現する「作業現場画像のオンライン3次元合成技術」と作業者に的確な指示伝達を実現する「作業員の行動把握」および「作業指示のAR提示技術」の2つの技術で構成されています。

作業現場画像のオンライン3次元合成技術

現場のカメラ画像から作業者の位置や向きを推定することにより、複数の画像を立体的に配置して、現場のパノラマ画像を生成する技術です。作業者はタブレット端末等で現場を撮影し、支援者に送信します。その際、撮影したカメラ画像と現場のセンサーを使って推定した作業者の位置情報もリアルタイムに送信します。支援者側ではその位置情報をもとに、実環境との距離に応じて画像の位置、サイズを調整します。そして、順次画像を3次元空間の上に立体的に配置して現場の全景画像を生成します。この「3次元パノラマ合成画像」により、支援者は現場の状況を任意の視点から正確に把握できるようになります。

現場の全景を遠隔側で正確に再構成

作業員の行動把握および作業指示のAR提示技術

作業員の位置情報は継続的に支援者へ送られてきます。支援者側では、その情報をもとにパノラマ合成画像の中に作業員を仮想的に描画します。これにより支援者はその場にいるように、自分の好きな視点で作業員の行動や位置情報をリアルタイムで把握することができるようになります。

現場側: 作業者が現場のパイプのそばで火気厳禁の赤いパネルの方を向いている

オペレーションルーム(支援者側):作業者を表す3Dモデルがリアルタイムで表示

さらに支援者はこのパノラマ画像に対し、ポインターや注釈の形で指示を出すことができます。指示は即座に作業員の位置と向きに連動したAR情報として、作業員のスマートデバイスに伝達されます。AR情報が作業者の視野から外れていても、作業ターゲットへの誘導アイコンが表示されるので、正確に保守・点検作業を行うことができます。作業指示のAR提示技術により、作業者は速やかに的確なサポートを受けることができます。

現場でタブレットをかざしながら作業ターゲットを探す

Check hereの指示とともに誘導アイコンが作業ターゲットを表示

ベテランのスキル継承、物流や小売りの現場での活用に期待

今回開発した「遠隔地からの作業支援技術」は、現場への的確な指示はもちろん、高齢のため現場に出向けない熟練者のスキルやノウハウの継承につながるものとして期待されます。また、保守点検だけではなく小売りや物流の現場でも活用の場が広がりそうです。今後、実証実験を経て2016年度中の実用化を目指します。

FUJITSU JOURNAL - に関するお問い合わせ

アンケートにご協力ください

FUJITSU JOURNALをご覧いただき、ありがとうございます。読者のみなさまの貴重なご意見を今後のWEBサイト改善に役立てたいと考えていますので、アンケートへのご協力をお願いいたします。

アンケートに答える»

アンケートにご協力ください

FUJITSU JOURNALをご覧いただき、ありがとうございます。読者のみなさまの貴重なご意見を今後のWEBサイト改善に役立てたいと考えていますので、アンケートへのご協力をお願いいたします。

アンケートに答える»

ページの先頭へ