「360VME（Virtual Mixing Environment）」の効果が凄い！ ダビングステージなどのサウンドミキシング制作環境の音響をヘッドホンを使って再現する技術で、サウンドエンジニアなどのプロフェッショナルも納得の高い精度で音場を再現してくれるのだ。しかも、既にこの技術を使ったソニー・ピクチャーズ エンタテインメント（以下SPE）の作品が劇場公開されているという。
今回はこの技術がどのようにして創り出されたのか、またハリウッドの現場で使われるようになったいきさつについて、360VMEの開発を担当したソニーグループ株式会社 R&Dセンターの沖本 越さんと中川 亨さん、中井彬人さん、浅田宏平さんにお話をうかがった。（Stereo Sound ONLINE編集部）
麻倉 今日はソニーのR&Dセンターにお邪魔し、360立体音響技術を活用した「360VME」について詳しいお話をうかがいたいと思っています。
沖本 お越しいただきありがとうございます。360VMEは「Virtual Mixing Environment」という名前の通り、サウンドミキシングの環境を仮想的に再現しようという試みになります。
内容としては、ヘッドホンを使った3Dオーディオ再現技術です。ヘッドホンは、通常の再生ではいわゆる頭内定位が一般的ですが、それを空間的に広げてあげようという技術になります。
具体的には、ある空間でユーザーのHRTF（頭部伝達関数）を測定し、独自の最適化処理を加えることで、究極まで再現精度を高めようという狙いで開発しています。“精度が高い” というのは、例えば大きな映画館であってもヘッドホンで同じ聴くこえ方になる、それくらいの再現性を持っているということになります。
麻倉 360VMEは、コロナ禍でミキシング作業ができなかった映画スタジオのエンジニアの要望に応えるために開発したと聞いています。ひじょうに面白いアプローチですね。
沖本 映画音響の制作では、ダビングステージで音作りを行います。もちろん、弊社の関連会社である、SPEにも多くのダビングステージがあります。
通常であれば、ダビングステージでサウンド制作者が音をデザインし、編集やミキシングをする、ドルビーアトモスなら3次元空間に音を配置するといった作業を行います。しかしコロナ禍のためにこれらの施設が使えなくなってしまいました。そこで360VMEを在宅でのサウンド制作に使えないかという話になったのです。
麻倉 360VMEは、コロナ禍の前からスタジオ向けに技術をプレゼンテーションしていたのか、それともコロナ禍以降にスタジオ側から相談されたのか、どちらなんでしょう？
インタビューはソニー社内の試聴室で行っている。360VMEはこの環境で開発が進められているとのこと。リファレンスのスピーカーにはウィルソンオーディオが使われていた
沖本 そもそもは、1990年代からコンシューマー向けサラウンドヘッドホンで、気軽に5.1chや7.1ch、ドルビーアトモスを楽しめる製品に向けて技術開発を進めていました。その中でどんどん精度を上げていき、ある段階に達したところでSPEのスタッフに技術を紹介したわけです。
SPEでは、最近は映画だけでなく配信用のコンテンツも増えているので、ダビングステージも予約がいっぱいだそうです。そこで360VMEを使ってミックスを行えないかという相談がありました。
麻倉 なるほど、コロナ禍とは関係なく、もともとダビングステージの需要が増えていたんですね。
沖本 おっしゃる通りです。もし360VMEのヘッドホンでダビングステージと同様の作業ができたら、それは設備を増やすことと同じなわけで、スタジオとしても受注できる仕事が増えます。
麻倉 コンテンツ数の増加という側面もあったでしょうが、現場のスタッフが360VMEという技術の効果を認めてくれなければ、実際に導入はされません。そこをクリアーできた要因は何だったのでしょう？
沖本 2018年頃から、実際に制作現場にお邪魔してデモを行い、フィードバックをもらうという取り組みを続けていました。その過程で、制作者の方々にも360VMEの技術が向上していることを確認いただけたのです。
麻倉 制作者からは、どんなフィードバックがあったのでしょう？
沖本 ダイアローグを担当している方は台詞の再現性と前方中央の音の定位に、サラウンドミックス担当だったら空間感の再現にこだわります。そういう方々と話し合いながら、映画の音づくりについて勉強させてもらいました。
最初の頃は制作者の皆さんのコメントでも、腑に落ちること、落ちないことがありました。しかし回を重ねて、一緒に音を聴かせてもらうことで理解できるようになりました。
その後、彼らが360VMEのテスト用に短編作品を作ってくれたのです。それをスタジオのリアルスピーカーで上映して、さらに360VMEのヘッドホンでも確認したのですが、音のトランスレーション（忠実な再現）がうまくいっているという評価をいただきました。
試作用のヘッドホン。最新版はさらに進化している模様
麻倉 リアルなダビングステージの音を、正しくヘッドホンで再現しているということですね。360VMEで聴いて、もとのスタジオの音が忠実に再現できていたというのは素晴らしいじゃないですか。
さて、360VMEは既に基本的な技術開発はできているわけですが、これからは調整の段階に入るということなのでしょうか？
中川 信号処理でキーになるアルゴリズムのアップデートや、制作者が使うソフトウェアの操作性改善がこれからの課題です。また再生デバイスのヘッドホンも開発しており、バージョンアップを重ねています。
麻倉 ヘッドホンは360VME専用なんですか？
中川 もともと、仮想音場を再生するにはこういったヘッドホンが必要だという思いがありました。そのコンセプトを社内のエンジニアに伝えて、仮想音場専用のプロトタイプヘッドホンを開発してもらっています。ヘッドホンには大きく分けて密閉型とオープン型がありますが、オープン型は音の反射がおこりにくいところから、仮想音場を楽しむための手段のひとつとして有効だと考えました。
麻倉 それは、音のヌケがいい、空間性の再現に優れている方がいいということですか？
中川 密閉型ではヘッドホン装着時のヘッドホンと耳の間にできる空間内の中で反射が起きてしまいます。そうなると、耳とヘッドホンの位置関係によっては音が変わって聞こえることがあるのです。しかしオープン型で音が抜けてくれると、反射が少なくなるので再現性が向上します。
沖本 360VMEの信号処理を加えた音を正しく再生するには、余計な響きがなく、ダイレクトに鼓膜に音を伝えられるヘッドホンが理想的です。
中川 SPEのスタジオのクリエイターに第3世代のヘッドホンを使ってデモをした時に、サブウーファーの低域が足りないという指摘がありました。大音量の低域を出したいシーンで、追従できていないということだったのです。
それを踏まえて改善を加えたのが、第4世代のプロトタイプヘッドホンになります。R＆Dセンター内で、ドライバーそのものも改良型を開発することで、さらに低域を再現できるようになりました。これによって、クリエイターも満足する音が再現できました。
麻倉さんの耳にマイクを取り付けて、測定を行った。このために、ひじょうに小さなマイクを開発している
麻倉 オープン型は踏襲し、ドライバーを改良することで低域再現を向上させたということですね。映画の低音はかなりヘビーですから、作り手がそこを認めてくれたのは素晴らしいですね。
中川 最初のモデルではイヤーパッドが薄く、装着した時にドライバーが耳に当たっていました。しかし360VMEでは鼓膜にいかに精度高く音を届けるかがポイントなので、ドライバーが当たって耳がつぶれるといったことがあってはいけません。そこでイヤーパッドを厚くして、鼓膜の位置にまっすぐ音が届くようにドライバーの傾きも変更しました。
麻倉 360VMEでは、個人最適化のためにひとりひとり測定を行うわけですが、そのためのマイクも専用なんですか。
中川 はい。試作をしていくうちに、できるだけ鼓膜に近い所かつ外耳道の特性も込みで収音を行いたいという事で、最終的には独得なバネ形状を持つ測定マイクになりました。
麻倉 最新世代のプロトタイプヘッドホンができたのはいつ頃だったのでしょう？
中川 2020年の夏過ぎだったと思います。試作を始めたのが2019年ですから、1年ちょっとかかりました。
麻倉 そのヘッドホンが、SPEの制作現場で使われているのですね。
沖本 ハンドメイドに近いのですが、トータルで400 台ぐらい作っています。映画の制作チームができた時にはメンバー全員を測定して、最適化したプロトタイプヘッドホンを配っています。
麻倉 先ほどのお話では、ダイアローグやサウンドエフェクトと、それぞれの担当内容が違っているわけですが、それでもみんな同じ音を聴けないといけないはずです。360VMEでは、そこは保証されているのでしょうか？
沖本 リファレンスとなる場所とヘッドホンが同じであれば、あとは担当者向けにヘッドホン再生特性をパーソナライズすることで、基本的には全員が同じ音を聞いている状態を作ることができます。
麻倉 映画には、耳だけではなく “体感する音” もあります。特に低音がどれくらい身体に響くかは重要です。でもヘッドホンだと振動は感じられない。制作現場では、その点にはどんな風に対応しているのでしょう。
中川 低域については、最終的にはダビングステージで仕上げることになります。360VMEだけで完成するわけではなく、例えば80％まで360VMEで準備しておいて、残り20％はリアルで仕上げるといったイメージでしょうか。
沖本 低域に限らず、ファイナルミックスはダビングステージで行っています。われわれとしては最後まで360VMEで仕上げた作品が登場したらひじょうに嬉しいのですが、さすがにそこまでは実現できていません。
麻倉 ところで、スピーカーにはそれぞれ音色がありますが、ダビングステージの音を再現する場合は、スピーカーの音を測定して、その音色をヘッドホンに入れ込むことになるのでしょうか。
沖本 測定時にはスピーカーでテスト信号を再生しますので、その音色やキャラクター、再生している部屋のエアボリュウムや反射特性などもすべて含まれます。
麻倉 そこまできちんとした測定をしているからこそ、ダビングステージという難しい空間の再現も可能だと。
沖本 われわれとしては、SPEの中でも一番大きなダビングステージである「ケーリー・グラント シアター」の音をヘッドホンで再現したいという目標がありました。
麻倉 ケーリー・グラント シアターはまさにリファレンスですから、あの音が再現できれば信頼されること間違いなしです。
沖本 実際にケーリー・グラント シアターを訪問し、デモを行いましたが、現場のスタッフに確かに同じ音がすると認めていただきました。私と中川で現場に出かけたのですが、ケーリー・グラント シアターの音が再現できた時には、我ながら痺れました（笑）。
麻倉 さて、実際に360VMEを使った作品も公開されているそうですが、具体的なタイトルを教えていただけますか？
沖本 SPEの2021年以降の公開作品では、『ヴェノム:レット・ゼア・ビー・カーネイジ』『ゴーストバスターズ/アフターライフ』『スパイダーマン：ノー・ウェイ・ホーム』『アンチャーテッド』などで360VMEを使っていただきました。
麻倉 どれも話題作ばかりですね。
沖本 一部の作品のエンドロールには「360 Virtual MixingEnvironment」の文字やわれわれの名前もクレジットされています。
麻倉 それは素晴らしい。まさにこの技術がハリウッドで認められた証です。
沖本 『ヴェノム〜』は、音の制作が佳境に入った頃にコロナで自宅待機になったようです。これ以上作業を遅らせられないというタイミングで360VMEを使ってみないかというオファーがあったそうで、そこから制作作業も順調に進んだと感謝されました。
中川 そろそろ360VMEの効果を体験いただきたいと思います。まず麻倉さんの耳の測定を行います。マイクを耳の中に入れさせていただき、スピーカーから7.1.2のテスト信号を再生し測定します。続けてヘッドホンを装着した状態で測定をします。これらの結果を使って、360VMEで最適化した音をヘッドホンから再生します。最初にお聴きいただくのは、テスト用の音楽素材です。
麻倉 360VMEの音は解像感がはっきりしていますね。位置情報も正確に再現しています。スピーカーの音は空気を伝わってくる印象がありますが、360VMEのヘッドホンはもっとダイレクトに響いてきました。
中川 映画作品から『スパイダーマン：スパイダーバース』を再生します。
麻倉 なるほど、こちらも音がフレッシュで、ダイレクトな印象が強くなります。フォーカスがしっかり当たっている感じですね。これが一般的になったら、スピーカー業界が壊滅しちゃいますよ（笑）。
一同 おぉ……、スピーカー試聴と遜色ないとの事、これは嬉しい感想をいただきました！
麻倉 ただ、低音の量感はでているけれど、やはり耳で聴いている低音ですね。身体で感じる振動がないのはやはり寂しいので、サブウーファーなどをうまく組み合わせるといいですね。
360VMEは既にハリウッドの現場でも認められたクォリティを持っているわけで、今後の展開にも大きな可能性があると思います。ここまで技術が仕上がっていれば、民生用モデルに搭載することも難しくないはずです。残る問題は、民生用でユーザーのHRTFをどうやって測定するかですね。
沖本 測定なしで使える360VMEヘッドホンが提供できればいいのでしょうが、それだと何をリファレンスにしているのかという問題が出てきてしまいます。
麻倉 一般のユーザーは開発環境の音を聞くことは出来ないわけで、この部屋の音場を再現できるヘッドホンでも大きな意味があると思います。
あるいは有楽町のドルビーシネマを再現できるとか、チャイニーズシアターの音といった具合に、色々な劇場・空間の違いをシミュレーションできるといいですね。現在の360VMEをベースに、エンタテインメント製品としての要素を加えてもいいでしょう。
中川 確かにそういった展開もやってみたいですね。しかしいずれの場合でも現在の360VMEでは測定が必要ですので、具体的な対策を考えてみたいと思います。
取材に協力いただいた方々。写真右からソニーグループ株式会社R&DセンターTokyo Laboratory 20 担当部長 沖本 越さん、SonyOutstanding Engineer2021 中川 亨さん。麻倉さんの左が、4課 スペシャルアコースティックエンジニア 中井彬人さん、統括部長 浅田宏平さん
麻倉 これまでも同様な効果を謳うシステムが民生用でいくつもありましたが、どれも正確な音場までは再現できていませんでした。
でも360VMEなら7.1.2のアトモスの音場も正確に再現できます。あるいは、実際に置いてあるスピーカーよりも正確な場所から音がするわけで、言ってみれば理想のシアターをバーチャルで構築できるわけです。
また先ほど音を聴かせてもらって感心したのが、測定に使ったウィルソンオーディオのスピーカーの音色がちゃんと再現できていたことです。とても上質で、くっきりとしたハイスピードな音という魅力を感じました。
中川 ありがとうございます。
麻倉 ヘッドホンを使ったバーチャルサラウンドでは、音質と音場というふたつの再現性がとても大切です。これまではどちらかはよくても、もうひとつが残念というケースが多かった。しかし360VMEは音場も音質もかなりのレベルまで届いています。
その意味では、360VMEは日本のホームシアターの新しい展開であり、救世主になると言っていいでしょう。これはソニーグループの中で閉じこもっているのではなく、広く世間に問うべき技術です。これほど素晴らしい技術を作ったのですから、ぜひ民生用モデルにも展開しましょう。私が太鼓判を押します！