CES2022で発表された、ソニー「BRAVIA XR」新製品が注目を集めている。中でもミニLEDバックライトを搭載した液晶テレビ「Z9K」「X95K」シリーズや、新型有機ELパネルを搭載した「A95K」シリーズが話題だ。
そんなBRAVIA XRシリーズの画質を司るのが、映像エンジン・認知特性プロセッサー「XR」だ。昨年のCESで発表された「Cognitive Processor XR」の第二世代はどのような進歩を遂げたのか。今回は開発担当者にリモートインタビューを実施した。
対応いただいたのは、HES技術戦略室 Distinguished Engineerの小倉敏之さん、商品企画部門 副部門長 鈴木敏之さん、商品企画部門 Display商品企画1部 統括部長 野村泰晴さんだ。（編集部）
BRAVIA XRシリーズは、ソニー製ホームシアターシステムやサウンドバー、Bluetoothスピーカー等と組み合わせて、没入感豊かなサウンド体験も提供してくれる
麻倉 今回のBRAVIA XRシリーズには、認知特性プロセッサー「XR」の第二世代が搭載されました。昨年からどんな進化を遂げたのでしょう。
小倉 まず、検出項目を増やしています。そうすることで、奥行方法の情報を把握できるようになりました。その結果、フォーカスが当たっているところはきちっと合焦した状態に、あたっていない部分はデフォーカスさせることができます。
前後関係を考えながら、プロセッティング、信号処理をどのように与えていくのか、超解像をどのように加えていくのかということを決めていけるようになっています。ここがひとつの大きなポイントです。
麻倉 これまでは、画面全体に超解像をしっかり効かせていくぞという方向だったけれど、今回は奥行も再現しようというスタンスになったと。
小倉 昔は全画面一律に処理していましたが、2016年頃からはオブジェクトごとに最適な超解像をかけるように変えています。これによってオブジェクト単位で最適化はできるのですが、それぞれの処理を突き詰めてしまうと、全体のバランスが崩れてしまうのです。
それに対し今回は、映像全体の構造を踏まえてこのオブジェクトがどういう位置づけにいるのかを考えることができるので、クリエイターズインテントの全体像を崩すことなく、主題となっている被写体を際立たせることができます。ここがひじょうに大きなポイントです。
麻倉 前回は、視聴者は主に映像の中心を認知するので、超解像はそこに注力しましょうというアプローチだったと思います。それでも前後関係は再現できていたと思いますが、まだ不充分だったということでしょうか？
小倉 そこからさらに攻めた映像を追い求めていくと、ある場合はうまくはまるかもしれませんが、別のケースでは崩れてしまうのです。それを避けるために超解像処理を抑えざるを得なかったというのが今までの状況です。それに対し今回は、映像の内容に応じて全体とオブジェクトそれぞれに最適な超解像を与えることができるようになっています。
麻倉 人の脳内認知を考えて、それに応じて必要な部分を強調しますという流れは同じで、第二世代ではそこに新しい処理が加わることで、映像がより自然に、リアルになったというわけですね。
小倉 元々のクリエイターズインテントを壊さずに、どれくらいきちんとその狙いを表現できるのか、より認知してもらうことができるのかを考えて進化させました。
CES2021の資料より。XRプロセッサーはCognitive intelligence＝認知というテーマを盛り込んだ点がそれまでの映像エンジンとは大きく異なっている
麻倉 昨年の段階でも、映画のようなディレクターズインテンションが大切な作品には超解像処理はあまりかけないで、自然の風景などをしっかり見せるために活用したいというお話だったと思いますが、その部分は変わっていないということですね。
小倉 その点は変わっていません。これまで、映画のような作り手の狙いがある作品をどう表現するかは難しかったのですが、今回の技術を使うことによって、インテントを尊重したままで主題を引き立たせることができるようになりました。
麻倉 ということは、今回からは映画にこの処理をかけても面白いかもしれない。
小倉 そうですね。「ビビット」「スタンダード」といった映像モードで映画をご覧いただくと、そのあたりの表現が変わってくると思います。
麻倉 「シネマ」モードでは効かせないわけですね。
小倉 工場出荷時の設定ではオフにする予定です。
麻倉 第二世代の認知特性プロセッサー「XR」は、チップ自体は同じで、アルゴリズムを変更したということでいいのでしょうか。
小倉 その通りです。アルゴリズムの世代の変更により、フレキシブルに色、コントラストをコントロールする事が出来るようになりました。今まで、赤や青といった色についてどれくらい鮮明にできるのかという処理では、全体の色があまりに強くなってしまっていけないので、変化量を抑えていました。
しかし今回は、全体の中でここはどういう色合いになっているのか、何を表そうとしているのかがわかりますので、赤を赤らしく見せる、緑をより緑っぽく見せるといった処理ができるようになりました。
麻倉 たとえば赤い服を着た人物がいて、バックに森があると言った映像では、認知特性プロセッサー「XR」はその全体像を認識して、この背景の中でこの人は赤い服を着ているから赤を立たせてあげようといった判断をするわけですか？
小倉 そうです。これまではオブジェクトごとに色を制御していたので、バランスが崩れてしまう可能性もありました。今回は、全体がどうなっているかを踏まえた上で各オブジェクトの重み付けを考えますので、より攻めた色遣いができるようになりました。
麻倉 全体の中での被写体のありようを認識するという意味では、先ほどの超解像と同じということですね。
小倉 以前、実物感があまりにも高まってくると、逆に普通の絵に思えてくることがあるというお話をさせていただいたと思います。違和感のない映像になるほど、凄さを感じにくくなるのです。今回の新BRAVIA XRの映像も、いかに自然に見えるか、いかに自然に見せることができているのかをご覧いただきたいですね。
麻倉 それこそ、映像のあるべき姿です。テレビはこれまで“人工美”で表現していたわけですが、これでやっと“自然美”にいけるということですね。
小倉 おっしゃる通りです。解像度とか色域を個別に扱うのではなく、トータルで映像としてどういう風に見えるのかということを語れる、コントロールできるようになってきたということです。
インタビューに対応いただいた方々。左上が麻倉さんで、右上が商品企画部門 Display商品企画1部 統括部長 野村泰晴さん。左下はHES技術戦略室 Distinguished Engineerの小倉敏之さんで、右下が商品企画部門 副部門長 鈴木敏之さん
麻倉 今回の新製品6シリーズにはすべて認知特性プロセッサー「XR」が搭載されています。パネルが異なっているから細かい使い方は違うでしょうが、認知特性プロセッサー「XR」が全体を貫通して、絵の統一を図っている点もソニーらしさにつながりそうです。
小倉 以前から申し上げていますが、“完全”な性能を持ったディスプレイパネルというものはまだ存在しません。その意味では今はプロセッサーの方が能力が上回っている状況です。それもあって、パーツの性能を最大限に引き出すという点において、プロセッサーの方が影響力が大きいと考えています。
麻倉 それは正しい方向性でしょう。将来的にはマイクロ有機ELのような新しいパネルデバイスも出てくるでしょうから、そこでしっかりしたプロセッサーを持っている意義は大きいと思います。
ちなみに今回の有機ELやミニLED液晶といったデバイスで、認知特性プロセッサー「XR」の使いこなしに留意したことはあったのでしょうか？
小倉 ディスプレイデバイスの最適化という意味では、新型有機ELパネルはゼロから立ち上げましたので、これが一番苦労しました。
ただわれわれとしては、最終的には出てくる映像をどう評価するのか、どうフィードバックをするかが重要です。その手順は同じですので、それほど極端に混乱することもなく、それぞれのデバイスに最適化できたと思います。
麻倉 今回のCESでは、他社からもAIを使った映像表現が提案されています。ソニーの認知特性プロセッサー「XR」で目指す映像のイメージを教えていただきたいのですが。
小倉 まずは“認知”というところを軸に進化させていきたいと思っています。ディスプレイデバイスの特徴を活かして、それぞれが一番栄える場面に対して最適化するということを追い込んでいきます。
麻倉 最後に、各モデルの見どころをうかがいたいと思います。
小倉 ミニLED は映像の迫力です。輝度がきっちり立って、ハイコントラストで迫力のある映像をお届けすることができると思います。新型有機ELに関しては、高輝度での色の乗りがひじょうによくなっています。カラフルに、色を潤沢に表現できるというのが特長です。
先程、認知特性プロセッサー「XR」がパワフルになったと申し上げましたが、そのパワフルさが従来型液晶パネルのバックライトコントロールにも有効になっています。より破綻が少なく、コントラスと輝度のバランスを楽しんでいただけると思います。
麻倉 なるほど、従来型液晶や白色発光パネルはこれまでと変わらないから、新認知特性プロセッサー「XR」の効果がよりわかりやすいと。
小倉 従来パネルで比べていただくと、プロセッサーの差分が出てくると思います。白色発光パネルでも、われわれは独自の高輝度化を盛り込んでいますので、有機ELらしい黒の再現性はしっかりと保ちながら、高い次元での黒再現と輝度のバランスを追求しています。
麻倉 個人的にはこういう方向性は素晴らしいと思いますが、やはりベースが画素型の絵づくりだと思うんです。デジタルが行き着く先はアナログだと思いますので、次はブラウン管的な味わいを持った絵も目指して欲しいですね。