先日お知らせした通り、TVS REGZAは1月5日からアメリカ・ラスベガスで開催されたテクノロジー見本市「CES（コンシューマー・エレクトソニクス・ショウ）2022」にブースを出展した。今回は同社の新映像エンジン「レグザエンジンZR α」を使った高画質技術のデモを行っている。
そこで本記事では同社の研究開発センターにお邪魔し、CESと同等の展示を見せてもらいながら、レグザエンジンZR αの新機能についてお話をうかがった。取材に対応いただいたのは、TVS REGZA株式会社 半導体開発ラボ長 山内日美生さん、先行技術開発担当 主査の杉山 徹さん、半導体開発ラボ 参事の木村忠良さん、同参事の小西秀吾さんと、レグザブランド統括マネージャー 本村裕史さんだ。（StereoSound ONLINE）
レグザエンジンZR α（写真右下側）のチップを搭載した映像基板
麻倉 今日はよろしくお願いします。今回は、TVS REGZAとしてCESに出展したということですが、何年ぶりになるんでしょう？
本村 ありがとうございます。われわれも東芝の時代には毎年CESに出展していましたが、ここ数年はお休みしていました。今回は7年ぶりになります。
現在弊社のテレビは、アジア地域で東芝ブランドで展開しており、今後は北米でも販売を強化していきたいと思っています。そこで改めて我々の技術力をアピールしようということになりました。
山内 出展は7年ぶりですが、弊社としては映像エンジンの研究や技術開発は変わらず続けていますというメッセージを伝えたいと思っています。
本村 今回は、現在開発の最終段階にあるレグザエンジンZR αの技術解説をメインに北米向けの新商品を展示しております。
現行のハイエンドモデルのX9400S等に採用している「ダブルレグザエンジンCloud PRO」のベースも数年前に開発したものです。最近のテレビは、一度映像エンジンを作ると5〜6年は使うのが普通です。ハードウェアは同じで、ソフトウェアや周辺チップの変更で処理能力を上げていくというやり方です。
それに対し今回は、映像エンジンそのものを約3年の期間をかけて新規に開発しました。しかも今回は開発コストも桁外れで、日本向けだけに使うのは勿体ないくらいで、海外展開も視野に入れております。
麻倉 それは面白い。なぜそこまで規模が大きくなったのですか？
山内 ひとつがハードウェアによるDNN（ディープ ニューラル ネットワーク）の搭載で、同時に処理プロセス自体のスペックも上げています。
本村 ハードウェアでAIプロセスを搭載している映像エンジンはあまり記憶にありません。普通はGPU（グラフィックス プロセッシング ユニット）を使って処理するのですが、ハードウェアを積むことで内容的にもスピードも改善しました。
麻倉 なるほど、TVS REGZAにはこれだけの映像エンジンを作るだけの技術力があるから、当然テレビの画質もいいですよ、というアピールですね。
本村 テレビは画質が第一です。パネルのデバイスは色々な種類がありますが、最終的にはそれを使いこなす映像エンジンのパワーがキモになります。レグザエンジンZR αは8Kにも充分使えるように考えて設計しています。
今回はTVS REGZAの研究開発センターにお邪魔し、CESで展示されたものと同等の機材を見せていただきながら取材を進めている
麻倉 今回のレグザエンジンZR αについて、新たに開発することになったいきさつや、こだわりのポイントからお聞かせ下さい。
山内 レグザでは、これまでもリアリティのある映像を追究してきました。そのために、映像解析をもっと高度化したいという思いがあったのです。
従来は、こういうヒストグラムだったらこんな内容の処理を行うといった具合に、信号の統計データを元にした色々な演算処理を、技術者が人間の脳で考えてアルゴリズムを作っていました。
これに対しレグザエンジンZR αでは、もう少し感性的な要素まで表現したいと考えました。そのための検出アルゴリズムは、人間の頭だけで考えても難しいだろうということで、AIを武器として活用してみようということになりました。
ある信号に対して、こういう映像で表示したいという入出力の関係性はあるわけですが、その間の回路をどうするかが難しかったのです。今回は、AIに深層学習させることによって、そこを埋めていこうという発想です。
麻倉 それは、レグザエンジンZR αのチップの中にAIが入っているということですか？
山内 はい。チップの中に、ニューラルネットワークをリアルタイムで動かすためのハードウェアを搭載しています。
麻倉 そのニューラルネットワークについて、簡単に解説していただけますか？
山内 ニューラルネットワークモデルとは、ある刺激が入ってくるとそれに対して異なる出力を返すといった仕組が多層につながっている、並列にいっぱい並んでいるといった構造を持っているものを指します。
最初にこんな入力がきたらこの正解を返すという原型を作って、それに従って回答を導き出すようなフィードバックループをぐるぐる回して学習させていきます。するとだんだんその刺激がつながって、この入力ならこの正解を導くと言った回路が構築できるのです。そして次第に別の入力を与えても、それに応じた正解を導き出せるようになっていきます。
麻倉 入力信号に対してどんな出力が正解かをAIに教えておくことで、さまざまな映像の超解像処理が可能になるわけですね。そのニューラルネットワークは、出荷時にAIにインプットするのですか？
山内 レグザエンジンZR αでは、あらかじめ学習させたアルゴリズムをハードウェアにインストールします。将来的には、バージョンアップでAIの中身を更新するといったことも可能です。
麻倉 そのレグザエンジンZR αでどんなことができるのかについて、具体的に教えて下さい。
デモ機では、外付けされたレグザエンジンZR α（写真手前の基板）を使って各処理を行っていた
山内 レグザエンジンZR αの高画質技術は主に4つ、「立体感復元超解像技術」「AIフェイストーン再現技術」「AIネット動画高画質アルゴリズム」「放送波高画質アルゴリズム」です。
また有機ELパネルと液晶パネルのどちらにも同じエンジンで対応できる点も継承しています。レグザでは、これまでもファームウェアを有機ELパネル向けと液晶パネル向けに入れ替えることで、各パネルの能力を最大限に引き出してきました。その機能はこれまでと変わりはありません。
もうひとつ、レグザエンジンZR αではチップ内のCPU が今までの4コアから5コアに増えています。それぞれが2倍のスピードで動くようになっていますので、処理速度的にはかなりパワーアップしているのです。
麻倉 それは凄い。画期的な改善じゃないですか。
山内 最近のテレビでは、4K解像度の難しい映像解析をリアルタイムで処理することが求められますが、今回チップのパフォーマンスが上ったので、それにも対応できるようになりました。
麻倉 映像エンジンの開発には長い時間が必要です。ということは、今回も前々から考えていたわけですね。
山内 おっしゃる通り、映像エンジンは企画から開発、検証といったプロセスが必要で、製品に搭載するまでに3年はかかります。それを踏まえ、われわれの場合は7年間ぐらいに渡って使えるものを用意しています。
麻倉 チップ的には今回のレグザエンジンZR αが最高クラスで、後々はもう少し低価格機にも使えるICを展開していくのでしょうか？
山内 今回のチップはフラッグシップという位置づけになります。今後の展開はまだ決まっていません。
麻倉 では、先ほど話にあったレグザエンジンZR αの高画質技術についても教えてください。
山内 まずは「立体感復元超解像」です。レグザは長らく超解像処理を搭載していますが、例えば手前に被写体が、その奥に背景が広がるといったような画像では、背景に超解像処理がかかりすぎると奥までくっきりしてしまうことがありました。
でもそれでは映像を見たときに距離感が狂ってしまうのが開発現場でも気になっていました。遠くにある物は遠くまで広がるようにしたいという思いがあったのです。今回はそこにニューラルネットワークの技術を投入しました。
麻倉 手前の被写体と背景をAIで分けて、それぞれに異なる処理を加えると。
写真上は「立体感復元超解像」をオンにした映像で、下がオフ。オンでは、右側の人物にはしっかりフォーカスがあっているが、左の山並みや木々は超解像の効果を控えめにして、自然な奥行が再現できるように配慮されている
山内 まず、フォーカスが合っているところとアウトフォーカスの領域を検出します。エリアごとにニューラルネットワーク解析ができるエンジンが入っていますので、フォーカスが合っているかどうかを分けています。
これによって遠くの被写体の光が空気の層を拡散しながら伝わってくる感じを表現できるようにしました。手前の被写体はしっかりと見えますし、背景は自然にアウトフォーカスになることで奥行感が表現できます。
麻倉 確かにデモ映像で立体感復元超解像をオン/オフすると、オンでは手前の人物はよりくっきりして、奥の山肌、木の枝などはほどよくぼやけてきます。
山内 背景の山肌は元々フォーカスが甘いのですが、そこが自然に再現できていると思います。こういった映像のように徐々に遠くなってぼやけているシーンに超解像をかけてしまうと、くっきりしすぎてしまうのです。空気で拡散が起きているはずなので、そこを何とか表現したいと思っていました。
麻倉 この映像は暑い時期だと思うんです。そうすると上昇気流ができて空気が動いているから、光だってまっすぐ来ない。
山内 今までの超解像は、ぼやけたものをくっきり見せるという方向でしたが、今後はちゃんと描き分ける、見せるところとそうでないところをしっかり分けていきます。
麻倉 そのためには被写体同士の距離の検出が一番難しいと思うのですが、そのあたりはどのように処理しているのでしょう？
木村 現状では画面を細かいエリアに分けており、全体の構図までは判別していません。エリアの中で映像信号としてのピークがあるのか、なだらかなのかといったことを解析しています。
麻倉 確かに映像全体を見て、これは人物でこちらは山並みといった判断ができるようになると、より精度は上りますね。
山内 レグザエンジンZR αのAIニューラルネットワークエンジンなら、全体を見て判断すると言った使い方もできますので、次は画面構図をどう解析するかを研究していきたいと思います。
麻倉 エンジンとしては、先ほどの超解像や美肌効果も同時に処理しているわけですよね。それが平行して走っているということですか？
木村 まず並行処理をして、それを統合してから超解像を行うといった流れになります。
麻倉 この機能は映画ではなく、自然風景などのコンテンツに使うことを想定しているのですか？
山内 基本的には「おまかせAI」モードで使おうと考えていますが、実際の製品にどのように盛り込むかはこれからのテーマになります。
次は「AIフェイストーン再現技術」です。これは従来の「ナチュラル美肌トーン」の進化版です。今までの肌色検出は、全体の色の分布や色相、明度を見ていたのですが、今回は顔の領域を検出して色相や彩度をチェックし、その上で美肌処理を加えます。これによって肌色検出の精度が上がりました。
「AIフェイストーン再現技術」のデモ映像。画面で白くなっている部分が、AIが人の顔だと判別したエリア
麻倉 これまでは画面全体で肌色を見ていたけど、今回は顔の場所が分かっているのだから間違いがないと。
山内 視聴者が一番注目するのは、やはり人の顔です。なので、顔の領域で色相がずれているところがあったら、その部分をカラーマネジメントで補正しています。
麻倉 ここが顔だという判断は、目や鼻といった形で行っているのですか？
山内 そこについては我々にも分からないのです。ニューラルネットワークにここが顔ですという学習をさせることろから始めましたが、現在はどんな点を元に顔を検出しているのかはAI任せになっています。
麻倉 なるほど、でもAIの顔検出では、ペットと人間を間違えたりはしないのですか？
山内 顔として検出することもありますが、間違える確率は低いです。それよりも肖像画の方が誤検出しやすいですね。また目的が美肌の再現なので、フェイスペインティングした人物などは除外しています。
麻倉 デモ映像では、顔だけでなく腕の肌色も補正されています。
山内 カラーマネジメントは画面全体に効きますから、顔で検出した肌色の補正内容は肩や腕にも適応されます。そうしないと、人物として違和感が出てしまいます。
麻倉 最近はマスクをした人もテレビに多く出てきますが、その場合も顔だと判断してくれるのでしょうか？
山内 このニューラルネットワークは、マスクをしていてもかなり正確に顔だと判断します。
麻倉 それは賢いですね。このAIは研究所で開発したんですか？
山内 はい、ニューラルネットワーク自体も自社で開発しました。ここにいる木村がリーダーで、ニューラルネットワークに膨大なデータを教えるところから始めています。
麻倉 それはたいへんな作業です。ちなみにデモ映像では4人の女性がでてきますが、こういった映像の場合、4人の肌色を見てちょうどいいバランスの補正を加えるんですか？
木村 処理としては、一番大きく写っている人の情報を優先します。もともとテレビのドラマなどでは、編集や照明の影響で色相が狂うことが多いのです。その場合は4人いても同じ方向にずれているので、補正内容は同じでも問題はありません。
麻倉 なるほど、画面全体で違和感のないまとまりになるよう気をつけているのですね。では次回は、この他のレグザエンジンZR αの高画質機能についてうかがいたいと思います。
※後編に続く