CES2022レポート第6回では、東芝の新映像エンジン「レグザエンジンZR α」のインタビュー後編をお届けする。映像エンジンとして初めてハードウェアによるDNN（ディープニューラルネットワーク）を搭載し、同時に処理プロセスも数倍に拡張するなど、きわめて贅沢な作りがなされたチップだ。
前回は新エンジンの狙いを中心にインタビューしたが、後編ではレグザエンジンZR αが持つ高画質機能についてより詳しく聞く。対応いただいたのは、前編に引き続きTVSREGZA株式会社 半導体開発ラボ長 山内日美生さん、先行技術開発担当 主査の杉山 徹さん、半導体開発ラボ 参事の木村忠良さん、同参事の小西秀吾さんと、レグザブランド統括マネージャー 本村裕史さんの5名だ。（StereoSound ONLINE）
デモ機で使われていたレグザエンジンZR α。高速処理を行う関係もあり、これまでよりも大型の放熱板が取り付けられていた
麻倉 レグザエンジンZR αには4つの高画質機能があるそうですが、他の機能についても聞かせて下さい。
山内 「AIネット動画高画質アルゴリズム」は、「ネット動画ビューティPRO II」の最新版です。ネット動画を綺麗に楽しんでもらうためには、まずコントラスト感、精細感の補正から始めます。しかし、コントラストや精細感を整えたら、今度はバンディングが気になり始めました。
麻倉 ネット動画では、背景のバンディングは目につきやすいですからね。
山内 『THE FIRST TAKE』のようなYouTubeコンテンツを4Kの大画面テレビで見ると、背景のバンディングが気になって内容に集中できないという印象がありました。そこをなんとかできないかと考えたのが、この機能です。
ネット動画ではビットレートが制限されているので、解像度よりもビット精度、階調情報の劣化が目に付きやすくなります。そうなるとグラデーションに階段状の縞が出てきてしまいます。そこで今回はバンディングスムーサーという機能を追加して対策しています。
ネット動画のバンディングは広範囲に大きな段差で出ていることが多く、これまではそういったノイズを消そうと思うと、映像自体が甘くなっていました。今回は被写体と背景を区別するアルゴリズムが高性能になったので、被写体に影響を与えずに、背景のバンディングだけを消せるようになりました。
麻倉 バンディングノイズは大面積で、階調情報が平坦な部分に出がちです。それに対し被写体は細かい情報を持っている。そこを判別するのですか？
山内 そもそも広大な面積を見るのはハードウェアエンジンにとってはたいへんなことなのですが、今回はそこを強化しました。
小西 この絵柄でいえば、モデルの衣装の縞模様も信号的にはバンディングノイズと似た成分ということになります。
山内 そういった信号の見極めが難しかったのですが、今回は様々なアプローチで解決していきました。
「AIネット動画高画質アルゴリズム」のデモの様子
麻倉 処理的には、バンディングが発生していると思ったらノイズリダクションをかけているということですね？
山内 いわゆる2次元方向のノイズリダクションをかけて、段差を消しています。その際に輝度だけではなく、色方向のノイズにも対処しています。
小西 バンディングノイズで、本来あり得ない妙な色が付くことがあります。特に白バックで人物が歌っているようなシーンでは、それが余計目に付きやすいと思います。
山内 このレベル以上の信号なら絵柄、ここまではノイズといった区別をしているケースもありますが、そういった処理だとノイズが出たり消えたりしてかえってうるさく感じます。それでは機能として使えないので注意しました。
麻倉 この機能は、ネット動画以外のコンテンツでも高画質化の恩恵がありますね。
山内 おっしゃる通りです。BSのアニメ番組などでバンディングが気になることがありますので、そういった番組を見る方には有効な機能だと思います。
麻倉 先ほどの立体感復元超解像でも人物と背景を識別していましたが、判別アルゴリズムは共通して使えますね。今回は、被写体を特定して切り出す部分の性能が進歩したということなのでしょうか？
山内 シーン解析だけでなく、エリアごとの解析機能がいろいろなところで進化しています。
麻倉 エリアごとの解析でもニューラルネットワークを使っているんですね。
左は「AIネット動画高画質アルゴリズム」オフで、右がオンの映像。写真ではわかりにくいかもしれないが、人物の後ろの照明が当たった部分のバンディングノイズに違いが現れていた
山内 「放送波高画質アルゴリズム」は、複数枚のフレームを使った超解像処理に進化しています。
これまでは、地デジ放送なら再構成型超解像処理で水平1440×垂直1080画素を水平1920×垂直1080画素に変換し、さらに自己合同性の超解像処理で4K（水平3840×垂直2160画素）に上げて、最後にもう一度再構成型精細化処理をかけていました。
今回はそのすべてのプロセスを2回繰り返します。効果としては、複数フレーム超解像処理が2段階かかることになります。1回目と2回目で時間方向の周波数帯域を変えることで、違う部分の精細感が向上できます。効果としては、ちらつきが抑えられて、精細感が上がってきます。
麻倉 この機能は、水平1440画素の地デジやBS放送用ということですね。
木村 水平方向のアップコンバートをする/しないといった違いはありますが、処理自体は2Kやブルーレイの信号についても行えます。
山内 ちょっとギミックな機能も追加しました。地デジのバラエティ番組ではワイプで顔が抜かれることが多いと思いますが、この中の映像は輪郭がじゃりじゃりしています。そこに超解像処理をかけると、余計にノイジーな印象になってしまうので、放送波高画質アルゴリズムではその部分だけ処理内容を変えて、クリアーな印象にしています。
本村 これは山内の自信作で技術的にはたいへんな内容なのですが、ワイプの中の顔が高画質になりました、とあまり大々的にアピールするような話でもないのでさらりと紹介したいと考えています（笑）。
山内 テロップも綺麗になりました。上側に番組名のテロップが出ているような画面では、これまでは被写体が激しく動くとテロップにモスキートノイズが出て、静かになると収まるという現象がありました。今回はテロップを検出して、常にモスキートノイズを抑え、綺麗なテロップが出るように対策しています。これは画面全体の落ち着きにもつながりました。
今回のTVS REGZAブースの展示イメージ。レグザエンジンZR αの映像デモに加えて、有機ELテレビやミニLEDバックライト液晶テレビも並んでいる
麻倉 CESには、有機ELテレビの他にミニLED液晶テレビも展示したそうですね。
本村 今回は有機ELテレビとミニLEDバックライト搭載液晶テレビを試作しています。ミニLEDバックライトのエリアコントロールにレグザエンジンZR αを使うことで、ひじょうに高度な制御が可能になっています。
麻倉 2022年の液晶テレビはミニLEDの搭載がトレンドですが、レグザではどれくらいの分割数になるのでしょう？
本村 具体的には申し上げられませんが、従来の10倍程度の分割数になると思います。ちなみに弊社ではミニLEDバックライトは、液晶テレビの最上級モデルとして位置づけています。
杉山 ミニLEDバックライト制御を担当した杉山です。弊社のミニLED搭載液晶パネルは、量子ドットフィルターを組み合わせて広色域を実現します。その点は先行メーカーさんと同じですが、そこにレグザエンジンZR αを組み合わせてさらに高画質を目指します。
本村 ミニLEDのメリットは、バックライトを細かく制御することでハロ（漏れ光）を抑え、コントラストの高い映像を再現できる点にあります。これについて弊社は2009年発売のCELLレグザの時代からずっと取り組んできているわけで、ノウハウには自信があります。
山内 ミニLEDになると高い輝度が出せますので、気をつけないと逆にハロが目立ってきます。キモになるのはブロックごとの点灯値（明るさ）を決めるところと、信号のゲインをコントロールするところです。このふたつの合わせ技でやらないと階調がきちんと再現できません。
杉山 LEDバックライトでは、絵柄に応じてそれぞれのブロックをどれくらいの明るさで光らせるかを決めるのですが、その際に隣同士のブロックの明るさが極端に違うと、境界が見えて不自然な画像になってしまいます。通常は空間的にフィルターをかけてなじませるのですが、これがハロの原因にもなっています。
弊社ではその対策として、実際のブロックよりも細かい範囲で輝度の変化を演算し、より画素に近いレベルの情報として解析します。そうすることで、ひとつのブロックの中にどんな明るさの違いがあるかを計算して、最適な点灯値を決めています。
左が従来のLEDバックライトで、右がミニLEDバックライト。LEDのサイズと配置された数の違いが一目瞭然
麻倉 本当の分割数よりも狭いエリアで輝度情報を計算しているのですね。
山内 こうすることで、ひとつのブロックの中の左上側に明るい部分があって、右下が暗いといった情報まで考慮した上でフィルタリングをかけることができます。ここまで演算処理を増やすと通常の映像エンジンでは対応しきれないのですが、レグザエンジンZR αなら可能です。
杉山 加えさせていただくと、信号補正も重要です。暗いシーンでもLEDの輝度を下げるだけでは単純に黒が潰れるだけで、信号補正を頑張らないと暗部の階調を再現できないのです。ここが弱いと、黒浮きやハロが発生しやすくなるので、我々としては黒をしっかり沈めたうえで絵柄もきちんと見せられるように信号補正アルゴリズムを工夫しています。
麻倉 バックライトを沈めて、信号処理側で階調が出るようにバランスを取るということですか？
山内 バックライトを抑え、信号のゲインを上げることで階調を復活させます。ただし、そうすると今度は白が飛びやすくなるので、白潰れを監視する回路も搭載しました。
麻倉 バックライトとパネルの合わせ技でグラデーション再現に挑めるのが、液晶パネルの面白さですね。
本村 おっしゃる通りです。そこで重要なのが、エンジンとアルゴリズム、絵づくりの考え方で、どれかひとつでもうまくいかないと絵が破綻してしまいます。
山内 技術者としては、有機ELより液晶パネルの方がエンジン側でコントロールする要素が多いので、面白いといえば面白いですね。
本村 有機ELテレビは75インチクラスになるとかなり価格が上がりますが、ミニLED液晶ならそこまでではない。ミニLEDの魅力は、液晶の特徴を最大化して大画面で高画質な液晶テレビが作れるという点にあると思っています。レグザのラインナップ充実にも一役買ってくれると期待しています。
麻倉 お話を聞いていると、レグザエンジンZR αは有機ELテレビにもミニLED液晶テレビにも大きな効果がありそうです。この映像エンジンを搭載した日本向けモデルは近々発売されるということでいいですか？
本村 具体的な時期は未定ですが、さほど遠くない時期に発売できるように頑張っております。
麻倉 わかりました。大いに期待しています。
取材に対応いただいた方々。左からTVS REGZA株式会社 レグザブランド統括マネージャー 本村裕史さん、半導体開発ラボ 参事 小西秀吾さん、麻倉さん、半導体開発ラボ長 山内日美生さん、半導体開発ラボ 参事 木村忠良さん
