音楽に歩み寄って聴く！ KDDIとKDDI総合研究所がiPhone/iPadアプリで楽しめる「音のVR」を公開。卒業をテーマにした5つの合唱曲の配信をスタート

KDDIとKDDI総合研究所は、新しい音楽視聴体験を可能にするアプリ「音のVR」の配信をスタートした。これはKDDI総合研究所が開発した技術を使い、配信コンテンツを360度の見たい・聴きたい部分に自由にフォーカスできるインタラクティブ体験をユーザーにもたらすもの。今回は東京混声合唱団が歌う、定番卒業ソング5曲が配信され、様々な視点からの絵と音や、あるパートに近づいた際の聴こえ方まで体験可能となっている。いったいどんな方法でこれを実現しているのか、開発を担当した堀内俊治さんにインタビューした。

--今回KDDIと東京混声合唱団による「音のVR」の新しいコンテンツが配信をスタートしたと聞きました。まずは、「音のVR」の技術的な特徴を教えてください。どのような点にKDDI総合研究所の開発した技術が使われているのでしょうか。

堀内　「音のVR」という用語は最近いろいろなところで話題になっていますが、ここで言っている「音のVR」は、当社のオリジナルの技術を指しています。

　その狙いは、音源に近づいたり、あるいは遠ざかったりといった感覚を再現した点にあります。包囲感を再現する手法として、アンビソニックスとかHRTF（頭部伝達関数）を使うものがありますが、「音のVR」はそれらとは違います。

　今回は再生デバイスにiPhoneやiPadを使っていますので、2chのステレオで再生します。しかし収録時には、360度全周が撮影できるカメラと、同じく360度の指向性を持ったマイクを使います。

　マイクはZYLIAのZM-1で、19個のマイクを搭載した360度マイクと呼ばれるものです。通常はこれで録音してアンビソニックスに変換することが多いのですが、アンビソニックスは音場を360度回すことは得意ですが、音源に近寄ると言ったことはできません。

　それを可能にするために、ZM-1で録音し、その後もマルチチャンネルのままで配信しています。そこからアプリ上で画角に応じた2ch音源を作成して再生することで、あたかも360度方向から再生されているような体験が可能になるのです。この変換ソフトウェアが独自のノウハウになります。

--マルチチャンネルのまま配信しているということは、マイクの19chぶんをそのまま送っているのですか？ それとも5.1chなどに変換しているのでしょうか？

堀内　19個のマイクで収録した音は、一旦、NHKさんが提唱している22.2chのサラウンド方式に変換してから配信しています。再生時には、アプリ側で22.2chの音源を隣り合ったステレオスピーカーごとに縮小していき、最終的にステレオに落とし込んでいるのです。

　22.2chの音源をモノーラルではなくステレオペアで認識していますので、音源に寄っていく場合でも左右のバランスがとれた状態で再現できます。だから、ズームしても定位が崩れないし、音源に近づいた時の印象が再現できることになります。

--22.2chを経由するのは、音場感を再現するためなのですか？

堀内　いえ、22.2chが必須というわけではありません。チャンネル数が多いに越したことはありませんが、5.1ch程度があれば「音のVR」は可能です。

　22.2chを使っているのは、音の方向性や距離感もしっかり再現したいという点もありました。もともとあるスピーカーの並びに準じて音を変えていくことで、アンビソニックスのように、移動感、音が回っていく様子を再現しています。

　またある音に近づくということは、実際にはその他の音は後ろに回り込んでいくわけです。今回はHRTFを使っていないので、位相を変えていくことで擬似的に距離感を演出しています。また視界から消えた被写体については、音も少しずつフェードアウトしていくように処理をしています。

--実際のアプリ上では、どんな風に絵や音が変化するのでしょうか？

堀内　使い方は簡単で、メニュー画面から聴きたい曲を選んでもらえれば大丈夫です。コンテンツがスタートすると、普通のテレビと同じくらいの画角で正面から捉えた映像が表示されますので、あとは画面を見ながら左右、上下にタップして視点を切り替えたり、ピンチで拡大していただければ映像と音が連動して変化します。

　5ミリ秒ごとに演算処理し、20ミリ秒ごとに更新していますし、視点の動きに応じて連続的に変えていますので、遅れや違和感はほとんどないと思います。なお、映像を真上や真下にした場合は音がモノーラルになるようにしています。これはちょっとしたお遊びです。

--このアプリは360度の8Kビデオと3Dオーディオが再生可能とのことですが、その点も詳しく教えてください。

堀内　カメラはInsta360 Proシリーズを使っていますが、こちらは球体の側面に6つの魚眼レンズが付いていて、全周を水平7680×垂直3840の8K画素数で出力できます。いわゆる8Kテレビの画面をくるっとまるめたような状態に近いのです。撮影時にはカメラとマイクを中心に置いて、合唱団の皆さんにそれを囲むように並んでもらいました。

--カメラを囲んでの合唱とは面白いですね。その映像は8Kで配信されているのですか？

堀内　配信は2種類準備しています。iPhoneなどの一部の古いモデルでは4K画質までですが、新型iPhoneやiPad Proでは8Kも選んでいただけます。どちらを再生するかはメニュー画面で選択します。8Kならズームした場合も綺麗です。ただ、8Kはデータ容量が大きいので、無線LAN環境での鑑賞をお薦めします。

--配信の映像や音のコーデック、ビットレートはどれくらいなのでしょう？

堀内　映像のコーデックはHEVCで、4K映像の場合は7Mbps、8Kは15Mbpsです。オーディオはコーデックがAACで、どちらの場合も1チャンネル当たり192kbpsなので、22.2chで約4.6Mbpsになります。なお音の収録は48kHz/24ビットのリニアPCMで行なっています。

　「”音”のVR」ですから、ビットレートもそれなりに贅沢なレートを使いました。これ以上圧縮してしまうと、声が混ざっている部分で粒立ちがなくなったり、圧縮でロスしていることが分かってしまうのです。倍音感などもまったく違ってきます。周波数特性を計るとほぼ違いはないのですが、人が聴くと違いがはっきり分かりました。

--「音のVR」のアプリは、今回の5曲のコンテンツ専用なのでしょうか？

堀内　コンテンツの作り方さえ同じなら、このアプリを通して楽しんでいただくことが出来ます。コンテンツの種類については、今回のように事前に編集まで仕上げた作品の方が安心ですが、ライブも不可能ではないと思います。

--今回のコンテンツをご覧になった方の声などは上がってきていますか？

堀内　合唱団のメンバーさんや合唱部の先生、作曲家さんからは、今までにない聴き方で、今後の合唱の練習にも使えそうだといった意見をいただきました。お客様が自由に聴きたいパートを選べるという意味では画期的なコンテンツでもあります。

--今回の取り組みで面白かったこと、新しい発見はありましたか？

堀内　ソフトウェア的にはそれほど難しいことはありませんでしたが、実際の録音をどうすればいいのかや、収録した音がどう聴こえるかという点はまったく未知数でした。

　実は、最初に合唱団の皆さんにマイクを囲んだ状態で歌ってもらったら、ソプラノもアルトも混ざって聴こえてきて、私には聴き分けできませんでした。ですのでアプリでうまく聴き分けることができるか心配だったのですが、やってみたら案外いいバランスで、ズームの声の距離感もきちんと再現することができました。

　これまで音楽コンテンツを届ける方向は、クリエイターが生み出したものをそのままユーザーに届けるという流れしかありませんでした。それに対して、通信事業の研究者という立場から、どこかにユーザー側の意図が入り込む余地はないかということを考えていました。

　とは言っても、アーティストさんやクリエイターさんがすべての権限をユーザーに渡すことはないでしょう。では渡せる権限とは何かを考えて、今回は画角であったり、音の範囲と言った部分をクローズアップしてみたのです。

　画面内の特定の人物に近づいていけるとか、気になるパートに聞き耳を立てられるといったことができたらいいなぁという発想があって、それを今の技術で再現してみたのが「音のVR」といえるかもしれません。

--では最後に、今後どんなコンテンツで「音のVR」を活用してみたいとお考えですか？

堀内　音楽コンテンツを増やしていくという方向もあるでしょうし、昨年のCEATECで展示しましたが、フィギアスケートのようなスポーツ鑑賞でも応用できるのではないかと考えています。

　こういった見方、聴き方もできるよということを、選手やアーティストと一緒に発信していけるといいですね。「音のVR」の楽しみ方が普通になったら、スポーツの採点方法が変わったり、作曲の方法が変わったりといったことが起きてくるかもしれません。そこについては、これから徐々に発信していきたいと思っています。

　今後は5Gのインフラが充実してくるでしょうから、将来的には触覚を含めたオーディオビジュアル体験をお届けできればと思います。

（取材・文：泉 哲也）