NHK放送技術研究所では、去る5月26日〜29日に「NHK技研公開2022」を実施した。コロナ禍の影響もあり、リアルでは3年ぶりの開催で、「技術が紡ぐ未来のメディア」をテーマに、東京・砧の研究所に様々な研究成果が展示されていた。
その詳細はStereoSoundONLINEでもリポートしているが、今回はその中から麻倉怜士さんが注目した5つのテーマについて、改めて詳しい取材をお願いしている。以下で麻倉さんが注目したテーマと、それに関するインタビューを紹介しよう。（編集部）
＜テーマ1＞地上放送高度化に向けた伝送方式と放送サービス
NHKでは、将来の放送通信融合による新しい地上放送サービスの実現に向け、次世代の地上放送システムの研究を進めている。今回は、伝送できる情報量を増加させる技術や放送と通信の融合技術の実証実験を公開するとともに、特性とサービスの一例を展示された。
現在のハイビジョン（2K）よりも高精細な4Kや通信と融合させた新しい放送サービスを構築する技術として、映像・音声符号化方式、多重化方式、伝送方式を開発し、実現性の検証を進めているという。
映像符号化方式として2020年に策定された国際標準方式VVC（Versatile Video Coding）と呼ばれる新しい圧縮方式を採用し、音声符号化方式としてMPEG-H 3DAと呼ばれる圧縮方式を採用している。これを開発した伝送方式と併せて用いることで、ひとつのチャンネルでふたつの4Kコンテンツが伝送できる。さらに、モバイル端末などでも放送コンテンツを楽しめるように、家庭内IPネットワークを利用して配信するホームゲートウェイを開発している。
麻倉 技研公開では地上デジタル放送の4K化についての展示もありました。たいへん興味深いテーマですが、まずは具体的な技術について教えてください。
宮坂 地デジの帯域で4K放送を実現するために開発した、周波数利用効率の高い伝送方式と映像圧縮効率の高い映像符号化方式であるVVC（Versatile Video Coding）について紹介しています。
麻倉 今回の展示では、1チャンネルの帯域（約6MHz）で4K放送をふたつと2K放送を伝送するデモが行われていました。その特長はやはり高い周波数利用効率と映像圧縮効率にあるのでしょうか？
宮坂 その通りです。高い周波数利用効率を実現している主なポイントとして、優れた訂正能力を有する誤り訂正符号を採用したことがあります。さらに現行の地デジではキャリア変調方式に64個の信号点を使って6ビットを伝送していましたが、ここで紹介している伝送方式では最大で4096個の信号点を用いた12ビット伝送ができます。
今日の4Kデモ映像は1024個の信号点を用いて10ビット伝送を行っておりますので、ご覧いただいた品質の映像であれば複数の番組を伝送できることになります。
麻倉 大容量のデータを送ると伝送時の誤りは増えるけれど、そこを強力な誤り訂正能力でサポートしようということですね。
宮坂 おっしゃる通りです。現行放送の地デジと比較すると、同じくらいの雑音が加わるという前提であれば、伝送容量を1.7倍に増やすことができます。伝送容量の拡大とVVCを用いることによる圧縮効率の向上のふたつの合わせ技で地デジの4K化を実現しようというねらいです。
麻倉 ひとつの技術では難しいから、みんなで協力しようということですね。技研公開時には実際に電波を使った伝送実験も行われていましたね。
宮坂 はい。東京タワーから電波を発射して、それをここ（NHK放送技術研究所）で受信した映像を再生しました。4K番組をふたつと2K番組ひとつが問題なく送受信できています。
麻倉 それぞれどれくらいのビットレートだったのでしょう？
宮坂 2K 番組が1Mbps程度、4K番組が各10Mbps程度です。
麻倉 確かに4Kらしい精細感はありますが、大画面になると少しボケている部分もあります。これはVVCで圧縮しているとのことですが、これまでのHEVC等とくらべてどんな点に違いがあるのでしょう？
宮坂 一般的にはVVCはHEVCに対してビットレートを30〜40％ほど抑えることができるといわれています。これは放送では重要な要因です。またマルチレイヤー符号化を採用し、後ほど紹介するように解像度の異なる2K映像と4K映像を効率よく圧縮できることも特長です。
麻倉 今の地デジでもひとつのチャンネルで複数の番組を送っていましたが、VVCでも同じような展開を考えているのですか？
宮坂 そうですね。番組編成という意味では、同じような使い方になるかもしれません。
麻倉 今回のデモでは、4Kをふたつと2Kをひとつ送っているわけですが、たとえば編成で4K番組ふたつにして、その分のビットレートで画質を上げるといった使い方は可能ですよね。
宮坂 限られた帯域を多チャンネル化に使うか、品質に使うかといった選択は今後もテーマになるでしょう。
麻倉 さてVVCでの圧縮についてうかがいますが、HEVCから進化したポイントはどこになるのでしょう。
宮坂 一番の特長は、圧縮時のブロックのサイズがHEVCの縦横2倍、合計4倍に増えています。また、ビットレートが低い場合、HEVCではブロックノイズが発生しやすかったのですが、VVCではそういったノイズは見えにくくなるように、ブロック境界などでのフィルタ処理が高度化しています。これにより、空などの平坦な映像を大きなブロックで処理してもブロックノイズの少ない、クリーンな映像として再現できます。
麻倉 放送コンテンツでは自然の風景やスポーツのグラウンドといった均一な絵柄を扱うことも多いでしょうから、そのメリットは大きいかもしれませんね。
ただし、4Kの話ばかりで8Kが出てこないのが、不満です。国の方針もあるでしょうが、8K軽視はいただけません。8Kを開発したNHK技研なのだから、もっと頑張って欲しい。
＜テーマ2＞地上放送高度化に向けた映像・音声符号化技術
家庭のテレビやタブレットなど各デバイスに適した複数の映像を効率的に圧縮するマルチレイヤー符号化に対応したリアルタイムVVCデコーダーと、オブジェクトベース音響に対応したMPEG-H 3D Audioデコーダーも展示されていた。
様々なデバイスでの視聴を実現するには、限られた伝送帯域の中で多様なニーズに適した映像・音声を効率的に伝送できる映像・音声符号化技術が求められる。地上波では送ることのできる情報量は限られているので、4K/8Kなどの映像のサービスを実現するには、より効率的な圧縮符号化技術が必要不可欠だという。
新しい映像圧縮方式のVVCでは、解像度の異なる複数の映像を効率よく圧縮するマルチレイヤー符号化という機能も備えている。2K映像と4K映像との相関を利用して効率的な圧縮を行うことで、個別に圧縮した場合と比較して、20％程度効率的な圧縮が可能になるという。また、レイヤー状に複数のコンテンツを符号化する特性から、選択式の付加サービスも実現できるそうだ。
麻倉 NHK技研では、地デジの高度化に関連して、映像・音声に関する新しい取り組みも進められているとのことです。当日のデモでは、放送中の映像にCGの情報を重ね合わせて、詳しい情報を紹介する展示もありました。
岩村 今回はVVCのマルチレイヤー符号化と呼ばれる技術に対応したリアルタイムデコーダーを開発しました。先ほど申し上げた通り、VVCを使った伝送では、2Kと4Kの複数の映像を送ることができます。
そこでは、例えば同じ番組を2Kと4Kで送りたいというニーズも出てきます。しかし映像を別々に圧縮して送るのはビットレート的にももったいないですから、効率的に圧縮しようというのがマルチレイヤー符号化と呼ばれる技術です。
具体的にはベースレイヤーと呼ばれる2K映像をまず圧縮して、その圧縮映像とエンハンスメントレイヤーと呼ばれる4K映像を比較して差分を抽出します。この差分データは4Kにあって2Kにはない、いわゆる高精細感情報になります。4K用としては、この差分情報だけを送ります。
そうすることで2K表示機器では2K映像だけをデコードすればいいし、4K表示器なら2Kデコードしたものに、高精細感情報を足し込んであげれば4Kとしての情報が復元できるわけです。
麻倉 確かにその方法なら、伝送時の無駄は抑えられますね。とても賢いやり方です。
岩村 ただし、今回お見せしている同じ番組を2Kと4Kで圧縮する方法はマルチレイヤー符号化を使ったサービスの一例です。この他にも様々な映像の組み合わせが考えられます。
異なる組み合わせの例としては、ベースレイヤーとして4K映像を圧縮し、それに上乗せする情報として手話の画像やCGキャラクターなどの解説コンテンツをエンハンスメントレイヤーとして付加することもできます。そこでも両方を別々に圧縮して送るのに対してマルチレイヤー符号化は効率よく伝送することができます。
まずベースレイヤーを符号化し、追加情報は差分の映像として圧縮・伝送します。追加情報は差分ですから、ビットレートも少なくて済みます。家庭ではテレビのサブコンテンツボタンなどを押すことで、付加情報を表示したり、消したりできるというわけです。
こういう使い方の場合は、差分情報は必ずしも放送波で送らなくてはいけないということではありません。映画やドラマのようにあらかじめ内容が分かっているコンテンツなら、差分情報をネット経由で送ってもいいし、あらかじめダウンロードしておいて番組にリンクさせることもできるのではないでしょうか。
麻倉 たとえば放送は4Kなんだけど、ダウンロードしておいた付加情報を組み合わせることで8Kで楽しめるといった使い方もできそうですね。8K放送は1チャンネルからなかなか増えそうにありませんが、こういった形での8Kコンテンツの楽しみ方もあってもいい。ぜひトライしていただきたいですね。
写真左がテーマ1のインタビューに対応いただいた日本放送協会 放送技術研究所 伝送システム研究部の宮坂宏明さんで、右がテーマ2について解説いただいたテレビ方式研究部の岩村俊輔さん
＜テーマ3＞ライトフィールド・ヘッドマウントディスプレイ
物体からの反射光などを実世界と同じように再現するライトフィールド技術を活用した、3次元VRヘッドマウントディスプレイ（HMD）も展示されている。自然な3次元映像表示と視覚疲労の抑制による快適なVR視聴の実現に向けた研究とのことだ。
既存のHMDは、主にディスプレイと接眼レンズで構成されている。接眼レンズをのぞき、左目と右目に視差のある映像が提示されると輻輳運動が生じ、ユーザーは奥行を知覚することができる仕組だ。しかし、ディスプレイの拡大像から3次元映像までの奥行の差が大きい場合、目の焦点を合わせているディスプレイの拡大像の奥行位置と、輻輳運動で知覚する3次元映像の奥行位置は異なってしまう。
ライトフィールドHMDは、物体の表面から出て目に届く光を再現することで3次元映像を表示する。これにより、実世界と同様に目の焦点が合っている奥行位置と輻輳運動で知覚する奥行位置（輻輳点）が等しくなり、自然な3次元映像を表示できることになる。
前田 こちらがライトフィールドHMD（ヘッドマウントディスプレイ）です。セットの構成は、本体前側にディスプレイが内蔵されており、レンズを挟んでそれを観ることで奥行を再現しています。
今回の展示機器では目の位置にカメラを置いていて、カメラのピントを手前と奥で切り替えています。このモニター上で、手前が鮮明になったり、奥が鮮明になったりという具合に切り替わっているのがお分かりいただけると思います。
麻倉 確かに、焦点距離が変わっていますね。これは普通のHMDではできなかったわけですね。
前田 はい。これまでのHMDでは左目と右目のディスプレイに視差のある映像を表示し接眼レンズで拡大することで奥行を演出しており、平面上で表示している点は変わりません。ライトフィールドHMDでは物体からの光源を再現することで、現実世界と同じようにピントを合わせる、という現象を再現できています。
従来のHMDは、実際に奥行を感じる位置と、目のピントを合わせる位置が異なっていたので、目の使い方として違和感がありました。それに対しライトフィールドHMDでは、奥行を感じる位置と目のピントが一致しますので、自然な映像としてご覧いただけます。
技術のポイントとしては、レンズアレーという素子を使い、さらにディスプレイ側でも特殊な映像として表示しています。映像は細かいブロックに分かれていますが、これがそれぞれレンズアレーに対応していて、おのおのの四角が光源位置を再現するように作られています。
麻倉 レンズアレーと映像の組み合わせで、ボケている部分とフォーカスのあった部分を再現できるということですか？
久富 たとえばこの映像では、キャラクターの目が6個くらいのブロックに分かれています。これをレンズを通すことで３次元空間中でひとつに結像するようになっているのです。
麻倉 ということは、この3D視聴を放送で再現しようと思ったら、今とは違う映像を送らなくてはいけないんですか。
久富 そうなりますね。奥行感を再現する方式はいくつかありますが、これもそのひとつとして提案しています。
麻倉 最近はメタバースが注目されていますが、今後はHMDで放送を観る時代が来るとお考えですか？
前田 その可能性はあると思っています。ただし、HMDが普及した時に、テレビを観て疲れてしまっては意味がありません。ライトフィールドHMDはそれを解消するひとつの方法だと考えています。
麻倉 ライトフィールドHMDは、レンズアレーの数を増やしていくことで、解像感を向上できますか？
久富 技術的には可能ですが、レンズの数や表示ディスプレイの解像度は今よりもっと必要になります。この方式では、奥行に情報を割り当てている分だけ、ディスプレイの解像度よりも見た目の解像感が低くなってしまいます。今は4Kパネルを使っていますが、見た目の解像度はSDくらいなのです。
麻倉 ということは、ディスプレイ側に8Kの解像度があれば、4Kくらいの映像が楽しめる？
前田 小型サイズのパネルを使いますので、現実問題としてはなかなか最適な部品が見当たらないのです。VR用液晶パネルも徐々に進化しているので、今後に期待したいところです。
ライトフィールドヘッドマウントディスプレイについて解説いただいたおふたり。中央が日本放送協会放送技術研究所 空間表現メディア研究部の前田恭孝さんで、右が空間表現メディア研究部シニア・リードの久富健介さん
※後編へ続く（9月2日公開予定）