顔面追跡機能を利用して顔の3Dワイヤフレームモデルを構築します。モデルが構築されると、頭の動きと眉毛、瞼や口のような顔面の特徴点を追跡します。特徴点を探索するためには、顔の部位を選択して繰り返し計算が必要となりますが、計算処理の効率化を図るためにAda Boostという手法が使われます。異なる解像度のフレーム間で一致するテンプレートを使用して、2Dのイメージによる動きを測定します。ひとつ前のフレームからの動きの変化(ベクトル)により示される2Dのイメージの動きを、3Dイメージに投影してモデル化します。メッシュ上の数点の2Dの動きから、3Dの動きが推定されます。

左図: ワイヤフレームモデル 右図: 顔面追跡機能の中で使われる顔面の動きを示す

Naïve Bayesによる感情区分は以下のように7(ニュートラルを含め)区分と少なく簡素であり、これに基づく各種の感情区分分析でも成功を収めてきました。比較対象とする感情を示すデータベースとしては、Cohn-Kanadeが収集した6種類のアジア人の表情パターンを利用し分析しています:

怒り     いらいら     恐怖      幸せ     悲しみ     驚き

Naïve Bayesによる感情区分と比較して感情の推定を行い、区分分類に対してどの程度の結果となったかを“Confusion matrix”という形式で表現しています。行は表情の感情(本当の感情)を表し、列は推定した感情区分(検出した結果)を表しています。自動感情推定の平均精度は93.2%になっています。期待した通りの精度が出ており、実用化可能と判断しSightcorpの製品にも適用されています。

実際の表情

分析出力結果