【第3回】進化を続ける人工知能~人の行動や反応から「気持ち」を汲み取るAI

AI特集:感性メディア技術

富士通の先端的な人工知能(AI)技術を体系化した「Human Centric AI Zinrai(ジンライ)」。今回取り上げるのは、人の行動や反応を捉え私たちの気持ちを理解する「感性メディア技術」です。AIが人の内面の心の動きや気持ちの変化までを捉えることで、私たちの暮らしはどう変わっていくのでしょうか。

私たちの内面の変化や気持ちを理解するAI

私たちの気持ちを癒してくれる対話型のロボットや、プロの棋士と対決し、人間に勝利するロボットなど、人間の新しいコミュニケーション相手としても人工知能(AI)の役割が広がってきています。
このような背景の中で富士通は、人のように気が付き、気配りができるような「人が活動する場で、自然な形で役立つAI」の研究を進めています。

そのうち「感性メディア技術」は、人と人、あるいは人と実世界の様々なモノや機械とのやりとりを捉えて、新しい価値を創りだすAI技術です。人の声や表情、ちょっとした仕草などの反応や行動を、画像や音声などを通して感知する「メディア技術」に、独自の情報処理アルゴリズムや、心理学・社会学・その道のプロフェッショナルなどの幅広い知見をかけ合わせることで、私たちの感情・気付き・気配りまでもAIが処理していきます。

AIのサポートで犯罪を未然に防ぐ

「感性メディア技術」の特長の一つは、人と人とのコミュニケーションを捉え、そこから新しい価値を生み出していくことです。センシング技術と処理アルゴリズムで、AIが人を賢くモニタリングし、最適な働きかけを行います。これを応用すれば、年々増加する「振り込め詐欺」の抑止にも役立てることができます。

具体的には、声のトーンなどから振り込め詐欺が疑われる怪しい通話を検出し、通話中の本人に合成音声で警告するシステムへの応用を進めています。本人だけでなく、その親族と警察、利用している銀行など関連機関にも怪しい通話があったというアラームを流すことで、振り込め詐欺被害を未然に食い止めることが期待されています。
これは、振り込め詐欺犯と疑われる人と通話中の本人の音声のストレス度合いを把握し、振り込め詐欺特有のキーワードを検出することで「振り込め詐欺」の可能性を判定するという仕組みです。
人はストレスを受けると、のどが渇いて声の高さや強さが普段の状態と変わります。この声のトーンの微妙な変化をセンシングで自動検出し、振り込め詐欺犯からストレスを受けた際に考察能力が低下してしまう「過信状態」になっているかどうかを把握。
この過信状態の検出と、振り込め詐欺特有のキーワードが会話の中にあるかないかの検証とを組み合わせることで、AIが「振り込め詐欺を受けている状態」を推定します。
この技術を用いた評価実験では、振り込め詐欺の検出精度90%以上と高い結果を記録しました。
富士通は、この技術を振り込め詐欺の撲滅に役立てるため、2012年から岡山県にて実証実験を進めています。その結果、実験前は月平均2.7回もあった岡山県下のオレオレ詐欺被害の認知件数が、実験中は月平均0~1件に減少しており、効果が期待できます。

【感性メディア技術を活用した振り込め詐欺の検出】

これまでは、本人と振り込め詐欺犯が疑われる人との会話の中で過信状態が起きているかどうかを検出するには、本人の通常の状態をコンピュータが「事前学習」しておき、通常との差異から過信状態かどうかを判断するのが一般的でした。ここにAIを活用することで、人と人とのやりとりから微妙な反応を把握し、事前学習をしていなくても、不特定多数の人たちを対象に過信状態かどうかを検出することができるようになります。

"視線の動き"から、人の内面を捉えるAI

感性メディア技術を活用したAIのもう一つの特長として、センシングで捉えた人の反応や行動に関するデータを蓄積・解析することで、パーソナライズされたサービスの提供に役立つことが挙げられます。
例えば、小売店舗で視線検出センサーを活用すると、人の視線の細かい動きを捉えることができ、人が見ているモノや場所を詳細に検出できます。
そこにAIを活用することで、単に何を見ているかだけでなく、お客様がある商品に「集中している」、どちらのデザインにしようか「悩んでいる」、ある商品に「興味がある」といった心理状態までも推定できるようになります。これを応用すれば、来店者が「他のどの商品と比較して購買にいたったのか」といった購入のプロセスや迷いを予測でき、マーケティング活動の改善にも役立てられるでしょう。

他にも、銀行のATMや駅の券売機にAIを活用すれば、例えば視線や指の動きから人の「困っている」状態をリアルタイムに捉え、適切な情報を適切なタイミングでナビゲートするなど、その人の状態に合わせたサポートなどへの応用も期待できます。

感性メディア技術がもたらす未来の生活

感性メディア技術は、人と人とのコミュニケーションが生じる場や、人と実世界のモノや機械の間でやり取りがある場であれば、様々な場面で活用が期待できます。小売や流通の分野での活用はもちろん、教育の現場などへの展開も考えられます。学習する児童や生徒の反応や表情の変化を捉えて、興味の度合いや理解にいたるまでのプロセス、苦労したポイントなどをAIが把握すれば、一人ひとりの状況に合わせて、指導内容の改善を提案していくといった取り組みへも応用できます。
富士通は今後、人の行動や反応に関するデータを共通の知見として、世の中のサービスで広く活用できる形に発展させていく予定です。AIが人のように気がつき、気配り、そして信頼感を表現することで、人と共感・共創し、知恵を引出し、高め、価値を創出していく、そんな未来を目指していきます。