ストレスチェックが自撮りでできる!?ヘルスケア領域でも活躍する顔映像解析の最前線！顔映像解析によるストレス状態推定技術テクニカルレポート

スマホやパソコンのロック解除といった、みなさんにとってもなじみが深い顔認証システムや監視カメラなど、映像を用いた情報解析の技術は主にセキュリティ方面での利用イメージが強い一方、キヤノンITSの先進技術開発部では健康領域での活用にも注目し、開発を行ってきました。そのなかのひとつに、顔映像をもとにして人のストレス状態を推定するというものがあります。

クオリティ・オブ・ライフに対する意識の高まりや、企業の健康経営トレンドなどもあり、ストレスへの関心が非常に強い現代社会ですが、これまでストレスをはかる方法はアンケートなどの“自己申告制”が一般的。しかし、これだと回答を得るまでに時間がかかってしまったり、ストレス状態の深刻度を客観的には把握できなかったりといった問題がありました。しかし、カメラで顔を撮影するだけで、個人のストレス度合いを数値で客観的にはかることができるようになれば、健康問題は改善に向けて大きく前進することができるというわけです。

では、顔映像からのストレス測定は、そもそもどんな仕組みで可能になるのでしょうか。大きなポイントはAIを用いたふたつのフェーズ。顔映像解析AIを用いて生体情報を“抽出するフェーズ”と、AIの機械学習モデルを用いて生体情報からストレススコアを“算出するフェーズ”にわけられます。

抽出するフェーズでは、撮影された顔映像からはまず、心拍数や心拍変動、まばたき回数や表情などといった生体情報が抽出されます。この生体情報をもとにストレスの度合いを数値化した“ストレススコア”を算出するフェーズに続くのですが、その際に使われるのがAIの機械学習モデルです。機械学習モデルとは、入力されたデータに対して評価や判断を行い、結果を出力する仕組みのこと。データから傾向や特徴を抽出するアルゴリズムを用いて学習したAIモデルです。

ストレス状態を推定するための生体情報には、先述のとおりいくつか種類がありますが、ここでは、生体情報のなかでも特に重要と考えられる心拍変動（Heart Rate Variability）を例に、ストレス状態が推定されるまでを詳細に紹介していきます。

心拍の間隔はメトロノームのように一定ではなく、長くなったり短くなったりと変動しています。心拍変動は、そのような心拍間隔の変動を評価する指標の総称です。心拍変動とストレス状態は、自律神経系の働きを介して関連しているといわれています。

自律神経系は交感神経と副交感神経から構成されており、それぞれのバランスにより、心臓の動き・呼吸・消化などの身体活動をコントロールしています。交感神経が優位であれば身体は活発化し、副交感神経が優位であれば身体は休息・回復へと向かいます。ストレスがかかると交感神経が優位となり、ストレスが小さいと副交感神経が優位となるため、ストレス状態に応じて、心臓の動きや呼吸が変化し、心拍変動も変化するというわけです。

たとえば、心拍変動指標のひとつに、心拍間隔のゆらぎの大きさを意味する”SDNN”（日本語では心拍間隔の標準偏差）があります。図3に示すように、ストレスが小さい（=副交感神経が優位）時には心拍間隔のゆらぎが大きくなり、一方でストレスが大きい（=交感神経が優位）時には心拍間隔のゆらぎが小さくなることが知られています。

心拍ゆらぎの大きさとストレス度合いにはこのような関係性があるため、心拍ゆらぎの大きさが分かればストレス度合いを推定することが可能と考えられます。

顔映像のみで、心臓の動きといった生体情報の抽出がなぜ可能になるのでしょうか。実はその原理は非常に単純。血流変化に伴って変わる微細な顔色から心臓の動きを推定しているのです。こうした心臓が動いたタイミングである心拍の情報から、ストレス状態をはかる重要な情報である“心拍変動”が、長くなったり短くなったりする心拍の間隔を推定していくわけですが、具体的な流れは以下のとおりとなります。

まずは顔色の時間変化である“RGB時系列”を取得します。RGBは、赤（Red）、緑（Green）、青（Blue）の光の三原色を組み合わせたカラー情報のこと。心臓の血流変化を把握するために、顔映像から顔色の変化を読み取るわけです。撮影された顔映像データをAIに入力し、顔の各部位から心臓の動きを強く反映するおでこ、ほほなどの注目領域を検出します。注目領域を限定することでノイズの低減が期待されます。映像中の各フレームで注目領域内のRGB値の平均をとって、RGB時系列を取得していきます。

RGB時系列のグラフからは、時間ごとに顔色が変化していることがわかります。これは心臓の動きに応じた血流変化に応じて顔色も変化しているためです。そこで、取得したRGB時系列から血流量を逆算し、血流量の信号（映像脈波信号）に変換します。このとき、ノイズを除去するため、血流量の信号（映像脈波信号）には周波数フィルターを適用します。

血流量の信号（映像脈波信号）のピーク位置を検知することで、心臓が動いたタイミング、すなわち「心拍」を推定できます。心拍がわかれば、そこから心拍変動の各指標も算出可能になるわけです。今回開発した技術では、心拍変動だけでなく、さらに表情・まばたきといったほかの生体情報も用いて、ストレススコアを出力する機械学習モデルを採用することができます。これにより、映像解析から得られた生体情報を用いて、さらに正確なストレス状態の推定を実現させました。

今回は、顔映像解析によるストレス状態推定技術について紹介しました。顔映像解析によるストレス状態の推定技術は、さまざまな場面での活用が期待されています。たとえば、ストレスのセルフケアが改善すれば、自分自身のストレス状態を把握することで、適切なリラックス法やストレス解消法を見つけられる可能性があります。

また、企業や組織においては、従業員のストレス状態を把握することで、効果的な健康経営の実現につながる可能性もあるでしょう。ただし、ストレスのスコア化はまだ開発中の技術。精度や信頼性の向上が引き続き必要になります。私たちは今後も研究開発を続けて、より正確なストレス状態推定技術を開発し、社会に貢献できることを目指していきます。