AppsJapan2017に「バーチャルテレポート」を出展します

6/7（水）～6/9（金）に幕張メッセで開催されるAppsJapan2017に実験アプリ「バーチャルテレポート」を出典することにしました。

興味をもった方がおられましたら、ぜひ足を運んでいただければと思います。

展示会では資料の配布を予定しておらず、このブログに詳細情報などを掲載しています。

「バーチャルテレポート」は遠隔地にテレポートしたかのような、立体的な相互コミュニケーションを提供します。

システム構成として、リアルタイム（低遅延）で人物などの3Dモデルを作成し遠隔地でホログラフィック表示するシステムと、360°カメラの映像を配信するシステムとにわかれます。

通信にはWebRTC（メディアストリーム、データチャネル）を活用しておりWebRTC Pavilonの一員として参加いたします。

本記事では、「バーチャルテレポート」を作るに至った経緯や概要について紹介します。

このシステムを紹介する際、「遠隔地にいった気分になれます」と説明するわけですが、本当にそうでしょうか？

360°カメラが設置された遠隔地では、映像を見ているあなたどこを見てどのような表情をしているかが伝わりません。

遠隔地に、あなたは存在していないのです。

遠隔地に行った気分になるためには、現地とのコミュニケーション（現地の反応）を得る必要があります。

遠隔地（相手）の情報を得ることに加え、あなたの存在を遠隔地（相手）に伝える必要があるのです。

立体的な相互コミュニケーション。

これを実現する試みが「バーチャルテレポート」です。

記事冒頭や経緯のところで紹介したとおり、「バーチャルテレポート」は２系統のシステムから構成されています。

360°カメラ「RICOH THETA S」の映像を、リアルタイム通信技術「WebRTC」を使って離れたPCで表示します。

OculusRiftやHTC ViveといったVRヘッドセットで見ることで高い臨場感を得られますが、ヘッドセットにより表情が隠れてしまいます。

相互コミュニケーションを目指す上で、表情を隠すデバイスは適切とはいえないため、今回はマルチモニターで対応します。

※予算の都合で今回は3台です。

周囲の情報を取得する360°カメラとは全く逆のアプローチになります。

周囲に複数の深度カメラを配置し、中心の人物の3Dデータを作成します。

これを離れた場所に設置した、ホログラフィックディスプレイに立体的に表示します。

ホログラフィックディスプレイは、装着型ホログラフィックコンピュータの「Microsoft HoloLens」と設置型ホログラフィックディスプレイの「Dreamoc HD3」を使います。

実際に展示会場にて動作させた動画がこちらです。

※ツールの仕様で薄く表示されていますが、本来は下の動画と同じくらいの濃さで表示されます。

実装についての詳細は、冒頭の各リンクから参照いただければと思います。

以上、インフォコム技術企画室のTokが紹介させていただきました。