東アジア人向けの感情とアクションユニットの多様性を持つトポロジー標準化3D顔データセット

デジタル顔が重要な理由

ビデオ通話や仮想現実に至るまで、私たちの生活はデジタルな顔で満ちています。しかし、それらの背後にある多くのコンピュータシステムは限られたデータで学習されており、しばしば西洋の集団や狭い範囲の表情に偏っています。本論文はAST-Faceを紹介します。これは東アジアの若年成人を中心とした新しい3D顔データセットであり、アニメーション、感情研究、人間とコンピュータの相互作用のためのより良い基盤を研究者に提供することを目的としています。

新しい顔コレクションの内容

AST-Faceデータセットには、18〜30歳の東アジア人98名からの詳細な3Dスキャンが含まれます。各参加者について、ニュートラルな顔、6つの一般的な感情（幸福、怒り、悲しみ、驚き、恐怖、不快）と9種類の筋肉に基づく顔の動きを記録しました。これらの動きは、内側の眉を上げる、口角を引くといった小さなアクションユニットに表情を分解するよく知られた体系に従っています。ボランティアの一部はさらに、左・中央・右の3台のカメラから同期したカラー写真の提供を許可しており、3D形状と通常の画像を組み合わせる研究にとってより豊かな資源を生み出しています。

顔の取得とクリーンアップ方法

データを信頼性が高く比較可能にするため、研究チームは慎重に制御された撮影セットアップを構築しました。高精度の3Dスキャナが各顔の微細なディテールを記録し、3台のカラーカメラが左・中央・右から撮影しました。調整可能な照明が影や反射を抑え、被写体の姿勢を保持するための位置決め装置が用いられました。全員が同じ録画スクリプトに従い、まずリラックスしたニュートラルな顔、その後に6つの感情、最後に9つのアクションユニットを、訓練を受けたスタッフの指導のもとで実演しました。撮影後、生のスキャンデータは背景や首の領域をトリミングし、頭部の姿勢を整え、表面特性を補正し、各顔から84個の標準ランドマーク点を抽出することでクリーンアップされました。

すべての顔を比較可能にする

3D顔研究における中心的な課題は、生のスキャンが同一のデジタル構造を共有していないことです。スキャンは含まれる点の数やそれらの接続方法が異なり、ある人の笑顔を別の人と比較するのを難しくします。AST-Faceは、すべてのスキャンを2段階のアライメント処理に通すことでこれに対処します。まず、開口や眉の上げなど大きな動きを捉えるために柔軟な顔モデルをフィッティングします。次に、先進的なマッチングアルゴリズムが共有テンプレートメッシュを穏やかに変形させ、最終的にすべての顔が同一の点数と接続性を持つようにします。この統一された構造により、研究者は複雑な前処理パイプラインを自分で設計することなく、人や表情を点ごとに比較できます。

データの利用用途

完成したデータセットは、標準化された3Dメッシュ、ランドマーク点、各表情がニュートラル顔からどのように異なるかの詳細なマップ、そして各感情とアクションユニットに対する検証済みラベルといった複数の情報層を提供します。公開されるファイルには識別可能なテクスチャは含まれず、生のスキャンやカラー画像は参加者のプライバシーを保護するためにデータ使用契約のもとで提供されます。この構造により、AST-Faceは筋肉に似た制御で駆動されるより自然な顔アニメーション、個人間で表情がどのように異なるかを調べる機械学習モデル、3D形状と2D画像を結びつけるクロスモーダルシステムなど、幅広い研究を支援できます。

今後のデジタル顔への意義

簡潔に言えば、AST-Faceは研究者に対して同じデジタル言語を話す高品質で整理された東アジアの3D顔セットを提供します。多様な表情、厳密にチェックされた筋肉ベースのラベル、共有メッシュ構造を組み合わせることで、一貫性があり現実的な顔の動きを必要とするアルゴリズムの構築と検証が容易になります。特定の年齢層と制御された照明下でのポーズ表情に焦点を当てている点はあるものの、既存の資源にある人口統計のギャップを埋め、より包括的で正確なデジタル顔の基盤を築く助けになります。

引用: Zhao, Y., Gong, G., Li, Y. et al. A Topology Standardized 3D Facial Dataset with Emotion and Action Unit Diversity for East Asians. Sci Data 13, 735 (2026). https://doi.org/10.1038/s41597-026-07098-2

キーワード: 3D顔データセット, 顔の表情, 東アジアの顔, アクションユニット, トポロジー標準化