NEDOら,カメラデータから顔データ含むコーパス作成

新エネルギー・産業技術総合開発機構(NEDO)と東京電機大学は,グループコミュニケーション時の人の表情などの映像や音声,各種センサーによる体の動きなどのデータセット(コーパス)をDVDに収録し,大学や企業の研究機関向けに2月7日より提供を開始した(ニュースリリース)。

NEDOは,2017年度に「次世代人工知能技術の社会実装に関するグローバル研究開発」の先導研究テーマの一つとして,東京電機大学とともに,次世代AIの深層学習のための大量データを収集・整理し,時系列分析技術の確立とデータへの注釈付け(アノテーション)の半自動化を目指したプロジェクトに取り組んでいる。

DVDに収録されているのは,東京電機大学の学生6人による議論2セッション,社会人6人による議論2セッションの合計100分のグループディスカッションに関するコーパス。従来のコーパスは,個人情報保護の観点から個人の顔データを含めることが不可能だったが,今回,実験協力者の同意を得ることで,その課題を解決した。

各ディスカッションには,個人の振る舞いを正面から観察するためのカメラを3台,ディスカッションの様子を俯瞰するカメラを1台,360度のパノラマ画像を撮影するカメラを1台,着座位置・顔の向きを見るためのカメラを天井に1台配置して撮影したほか,ヘッドセットマイクで音声も収録している。

複数のカメラで同時撮影したデータにより,多方向からのコミュニケーション観察が可能であり,音声は個人ごとに収録しているため参加者個々の発言を選択して分析できる。さらに,加速度・角速度センサーを参加者の頭部,胸部,両腕部の計4カ所に装着し,体の動きや姿勢などのデータも収録している。

コーパスには発言,ジェスチャー,視線などの行動に対してのラベル付けがされているため,会話分析にも利用可能。加えて,機械学習を用いた行動認識システムの学習データとしても活用できるという。

コーパスの活用により,コミュニケーション行動をより総合的に解析することが可能となるため,人と人との円滑なコミュニケ—ションを支援する次世代AIの研究開発の加速のほか,人のコミュニケーション能力向上のための研究促進が期待されるとしている。

その他関連ニュース

  • OIST,細胞の経時変化を定量化するツールを開発 2019年03月22日
  • オリンパス,内視鏡用オープンプラットフォームを開発 2019年03月20日
  • 2021年の画像処理システム世界市場,32.0%増に 2019年03月19日
  • 東大,ニューラルネットワークに視覚野を転写 2019年03月11日
  • オリンパスと慈恵医大,顕微授精のAI研究を開始 2019年03月08日
  • オリンパスら,AI向け内視鏡画像データを効率的に作成 2019年03月07日
  • 立教の光学航法カメラ,「はやぶさ2」に搭載 2019年02月27日
  • オリンパス,国内初の内視鏡用AIを発売 2019年02月25日