NHK放送技術究所では、今週末の5月26日（木）〜29日（日）に「技研公開2022」をオンラインとリアル展示の両方で開催する。
StereoSound ONLINEでは昨日開催されたプレス発表会に参加、ここでは注目テーマについて順次紹介していきたい。
（5） 自由視点ARストリーミング技術
放送と通信の融合の形として、従来のテレビの枠を超えた体験と感動を提供するイマーシブメディアとして提案された技術で、オブジェクトベース伝送技術を使って効率よく3次元コンテンツを伝送、家庭で再現してもらおうというものだ。
20畳ほどの展示会場には正面に大型テレビが置かれ、番組が表示されている。その様子をタブレット（AR視聴端末）を通して見ると、番組に関連したバーチャル世界が展開されている。正面にはバーチャルキャラクターが出現して解説してくれたり、海に関する番組なら天井を魚が泳いでいたり、といった具合だ。
AR視聴端末ごしの映像には、放送されている番組の内容に応じたバーチャル空間が合成されている。端末は複数台の同時使用も可能
これらのバーチャル画像はネットワーク経由で取得しており、放送波と同期してテレビやタブレットに表示する仕組みという。視聴者がタブレットを持って歩き回ったり、向きを変えるとそれに連動して画面の表示も切り替わるので、ごく自然にバーチャル世界に入り込んでいけるだろう。なお現実の人間（室内に居る人）はタブレットの映像にもきちんと再現されていた。
（6） 携帯端末型インタラクティブ3次元ディスプレー
メガネを使わない裸眼3D視聴はNHK技研が長年取り組んでいるテーマだ。今回の展示では、スマホを表示機器として使い、視点位置や操作に応じた3次元映像を視聴できる、インタラクティブ型ディスプレイが展示されている。
携帯端末に搭載されたカメラで視聴者がどこを見ているのかを検知、さらに端末の向きなども含めた視点位置や操作情報をサーバーに送信する。サーバー側ではそれらを元に端末に最適化した要素画素情報を持った映像を生成して配信する仕組みだ。これによって視点追従性のある3D映像を楽しめるわけだ。
なお会場には「全方向視差タイプ」と「水平視差タイプ」の携帯端末型3次元ディスプレイが展示されていた。両者はモニター前面に貼ってある3D視聴用フィルターの構造が異なっており、全方向視差タイプは縦・横画角のどちらでも3D映像が視聴でき、水平視差タイプは横画角のみで使えるものだ。
映像の精細感は後者の方が上で3D映像もリアルに感じられるが、携帯端末という性格上、縦配置での使用が多いはずで、今後はフィルターの改良もテーマになっていくのだろう。
（7） ライトフィールド・ヘッドマウントディスプレイ
3次元VR映像により没入できる技術としてヘッドマウントディスプレイ（HMD）を使った研究も進められている。しかも今回は物体からの反射光などを実世界と同じように再現するライトフィールド技術を組み合わせている点が注目される。
従来のHMDでは左右の目の焦点位置が物理的な表示デバイスに決まっていることから、奥行きの異なる映像を表示した場合、不自然な知覚となって視覚疲労が起こるケースもあったという。
会場ではライトフィールドHMDの体験視聴も可能。HMDのサイズはW182×H113×D127mmで、表示デバイスは片目あたり水平1440×垂直1440画素を備える
今回展示されたライトフィールドHMDでは、小さなレンズを並べたアレーを表示デバイスの手前に配置、デバイスには個々のレンズに対応した映像（画素画像）をリアルタイムに創り出して再現している。
これによりピントの合っている部分とボケている部分が自然に再現され、視聴者も無意識のうちに目の焦点距離を調整することになるので視覚疲労の抑制が期待できるそうだ。
（8） メタスタジオによる3次元情報取得
3次元テレビやAR、VRといったデバイスで3D映像を楽しむためには、それに対応した収録設備も不可欠だ。そのための取り組みとしてメタスタジオも展示されていた。
直径5m強のステージを半球状に取り囲むようにアングルが組まれ、そこに24台の可動式ロボットカメラ（4K）と2台の固定カメラ（4K）、2台の検知用カメラが取り付けられている。これらのカメラで被写体を様々な角度から撮影し、そのデータを元に3次元モデルとして合成するという。
またこのシステムでは撮影後の映像について、AIを使った映像誤差補正を加えることができる。それにより撮影された映像が甘かった場合でも細部の品質を向上させることができるし、3次元モデル作成後に照明や被写体の質感を変更（撮影した人の肌をメタリック調に変えるなど）できるそうだ。
なお、従来は固定式だったカメラを可動式ロボットカメラに変更したことで被写体の動ける範囲が1.5m四方から5m四方まで拡大、より自然な動きも捉えられるようになっている。
