芝工大,一体感が共有できるライブ体験システムを開発

芝浦工業大学は,脳波などの生体信号から複数の参加者の精神的な盛り上がりを計測し,度合いに応じてハートマークや桜吹雪などの視覚効果として演出し一体感を世界中で共有できるエンターテイメントシステムを開発した(ニュースリリース)。

没入型ヘッドマウントディスプレーの登場により,自宅にいながら没入感のあるライブを視聴することが可能となっている。しかし従来のライブ体験システムでは,受動的視聴が多く演者と複数の観客の相互作用から生じる一体感を得られにくいという問題があった。

そこで研究グループは,ライブ参加者全員が簡易脳波計を装着し,取得した脳波から全員の集中度を解析。解析結果に基づいた視覚効果をそれぞれのライブ画面に視覚的に再生することで,一体感が感じられるシステムを開発した。

このシステムは,簡易脳波計で脳波などを測定し,精神的な盛り上がりに伴って増加する脳波のβ/α比が増加し,閾値を超えたときに視覚効果を生成し表示する。今回「クライアント型」と「サーバ型」を開発した。

実装例として,ユーザ数と同数の簡易脳波計,タブレット端末,没入型ヘッドマウントディスプレー,クライアントPC,および1台のサーバPCから構成し,各ユーザは脳波計と没入型ヘッドマウントディスプレーを装着し,額部と耳部の間で計測された脳波信号をタブレット端末上に送信する。計測された脳波信号からβ/α比を算出。クライアントPC上のデータ処理プログラムに送信する。

「クライアント型」では同データ処理プログラムがβ/α比に対応する視覚生成情報を生成し,サーバPC上に送信する。その後全クライアントPC上に共有し,全ユーザの画面に反映する。「サーバ型」の場合は,クライアントPC上のデータ処理プログラムではβ/α比の処理はせず,サーバ上のデータ処理プログラムにて平均値を算出する。盛り上がりに伴って増加する脳波のβ/α比が増加し,閾値を超えたときに視覚効果を生成し表示させる。

今回,6名(3名1組)で実験を行なった結果,「クライアント型」では,他のユーザとは効果を共有しない従来のシステム型よりも一体感を感じるアンケート評価が上回り,「サーバ型」でもβ/α比の増加のタイミングが揃って効果が生成されたときには一体感や達成感を感じる感想が得られたという。

研究グループは,このシステムが場所を選ばずに参加をして一体感を感じることができるため,2020年東京オリンピック開催に伴うライブ会場不足や,ライブ会場のバリアフリー化の遅れの解決も期待されるとしている。

その他関連ニュース

  • サン電子ら,5G+スマートグラスでドローンを遠隔操作 2018年12月04日
  • JDI,高精細VRヘッドマウントディスプレーを発売 2018年11月28日
  • NTT,リアルタイム中継で擬似3Dの奥行きを表現 2018年11月27日
  • 凸版,フェルメールを3Dインタラクティブ化 2018年11月20日
  • QDレーザ,網膜走査型レーザアイウェアの店頭受注を開始 2018年10月25日
  • 凸版,ライトフィールドを用いたHMD技術を開発 2018年10月24日
  • NTT Comら,HoloLensによるMRソリューションを提供 2018年10月17日
  • エプソン,両眼シースルースマートグラス2機種を発売 2018年09月21日