お客様の視線の動きをAIが分析!お客様の思いに寄り添った接客をサポート

青山商事様の店舗にて接客業務支援の実証実験を実施

(写真は富士通フォーラム2018東京の展示会場)

AI(人工知能)やIoTの技術が、私たちの暮らしの身近な商品やサービスに次々と活用されています。人の言葉や仕草に表れるわずかな変化を捉え、心理を推定する「心理分析AI技術」の開発が進み、接客などの対面業務における実用化の可能性が出てきました。富士通と富士通研究所では、このAI技術を量販店や小売などの店舗で活用し、来店したお客様の商品への関心に応じたプロモーションや、お客様の思いにもっと寄り添った接客業務の支援につなげようという取り組みを進めています。

この心理分析AI技術を使い、富士通と青山商事様は2018年4月6日から約1カ月間、洋服の青山池袋東口総本店で実証実験を行いました。

店頭の2体のマネキンの間に視線センサーを設置し、マネキンが着用したジャケットやシャツ、ネクタイなど、商品を見るお客様の視線の動きを分析します。商品を見た回数や視線がどの位の時間とどまっていたか、どのような順番で商品を見たかなど、その人の視線の動きをAIが時系列的に分析し、「2体のマネキンが着ているジャケットのどちらにしようか迷っている」「ジャケット以外に、ネクタイにも関心がある」といったお客様の心理状態を推定します。その推定結果に基づき、商品の付加情報や「このネクタイに合ったコーディネートはこちら」など、おすすめの商品情報をリアルタイムにマネキン脇のスクリーンに表示し、お客様の思いに合わせたレコメンドという新たなお買い物体験を提供します。

また、お客様の心理推定結果は売場スタッフのモバイル端末にもリアルタイムで通知。お客様から離れた場所にいたスタッフでもお客様の状況を事前に理解した上で、迷っていた商品についてさりげなくお声がけする、といった気配りの効いた接客が可能になります。

売場スタッフのモバイル端末にも、お客様の心理推定結果や推定結果に基づくおすすめ商品情報を表示

心理推定AI技術の活用で店舗価値を向上

この技術は富士通の先端的なAI技術を体系化した「Human Centric AI Zinrai(ジンライ)」(以下「Zinrai」)の中核技術の1つ、感性メディア処理技術の中の「視線検知技術」、及び「視線の動きのパターン分析技術」がベースとなっています。感性メディア処理技術は、人と人、あるいは人と実世界の様々なモノや機械とのやり取りの中で人の思いを捉え支援する、新しい価値を作り出すAI技術です。

この心理推定AI技術を活用し、お客様の心理分析とスタッフの接客履歴を蓄積していくことで、お客様の潜在ニーズの可視化や、スタッフ全員の接客ノウハウの共有など、次の店舗づくりや商品作りに向けたデータの取得が可能になります。その結果、接客業務の高度化や店舗の価値向上、販売促進や製造の戦略立案への活用等が期待できます。AI技術の活用により店舗に訪れるお客様により良い購買体験を促す試みは、これからの実店舗運営に対する新しい取り組みの1つと言えるかもしれません。

多様な業務シーンでの心理分析AI技術による業務支援を目指して

今後は、視線分析だけではなく、無意識の仕草の分析や、音声の高さやその変化の分析に基づく満足度推定等、最適な感性メディア処理技術の組み合わせによって、多様な業種やシーンに応じた顧客利便性向上や接客業務高度化の実現を狙っていきます。対面接客時のご案内、遠隔画面システムによるオペレーション、デジタルサイネージを用いたご案内、モバイル端末を用いたECサイトでの買い物等の多様な接客タッチポイントにおいても、商品やサービスに対するお客様の心理の変化に沿った、適切なタイミングと内容での接客をAIが支援することも期待できます。

富士通と富士通研究所はこれからも、人と共存し、人に寄り添うAI技術の活用を通じ、接客業務を高度化する業務支援サービスの実現を目指します。

上村 拓也
富士通研究所 Sensecomputing研究センター
主任研究員