オンライン開催されたCES2021のソニーブースでは、同社テレビの新しいラインナップとして「ブラビアXR」が発表された。8K液晶テレビの「Z9J」と、4K液晶テレビの「X95J」「X90J」、4K有機ELテレビの「A90J」「A80J」シリーズという構成だ。これらに共通した特徴が、新しい映像エンジンとして「Cognitive Processor XR」を搭載していること。今回は、その新エンジンの特長や今後の製品展開について、ソニーホームエンタテインメント＆サウンドプロダクツ株式会社TV 事業本部 技術戦略室Distinguished Engineer 小倉敏之さんと、同 商品企画部 統括部長 鈴木敏之さんにお話を聞いた。（編集部）
麻倉 CES2021の話題のひとつが、ソニーの新しいラインナップ「ブラビアXR」と映像エンジンの「Cognitive Processor XR」でした。まずは今回の新製品開発について、ソニーとして配慮した点から教えてください。
小倉 ソニーの存在意義のひとつに「クリエイティビティとテクノロジーの力で、世界を感動で満たす」というものがあります。これをもう少し噛み砕いて説明すると、人に近づくこと、人と人をつなげていくというのが大きな方向性になっています。
これを事業としてのエレクトロニクスに当てはめると、クリエイターとユーザーをいかに近づけるか、という考えになります。クリエイターが創造した感動をいかにユーザーに届けるかを、テレビという媒体を通して実現していく。弊社の場合は、それを果たしているのがブラビアです。
これまでは高度なフォーマットへの対応や、性能の高いオーディオ再生機器などを開発して、感動の源泉であるクリエイターの意図をいかに忠実に届けるかに腐心してきました。目指すのは、制作者の心に忠実に、です。
その点は、かなり高いレベルで実現できてきたと考えています。次は見ている人というものはどうなんだろう？ と。受け手である人やユーザーに対して我々は何ができるのかを考え、「感性の領域に配慮する」ことで、本来の美しさであったり、感動というものをよりしっかり感じてもらえるのではないかとしました。
最近は8Kなどの高精細映像が当たり前で、もはやスペックだけで表せない領域に画質が進化しています。そこでは、「感性の領域」に踏み込んでいかないと、今後の画質の、映像の進化が出来ないだろうと思います。
そうすると、制作者の意図と見る人の感性の双方に配慮するようになると考えたのです。制作者の想いと見る人の期待、つまり人と人をつなぐというところが、今後の画質進化の大きなポイントですね。
CES2021で発表された4K有機ELテレビ「A90J」
麻倉 ソニーのここ2〜3年の方針として、クリエイター向けの展開が強調されていて、ユーザーに向けた話があまり出てこないなと思っていました。いよいよ視聴者の側への取り組みもスタートするのですね。
小倉 随分前になりますが、コンテンツを再生する時に伝送系の歪みを取り去りましょう、ディスプレイデバイスの性能差を取り除きましょう、とお話したことがあったと思います。それはハードウェア側の対応で解消できます。
次のステップとして、感性の領域に踏み込んでいく必要があると以前から思っていました。ようやくそこに届いた、取り組めるようになったということだと思います。
麻倉 ということは、今後のソニーのテレビは、クリエイターの意思を反映しながら、ユーザー側の認識への対応機能も入るということですか？
小倉 それをテレビとして実装したのが、今回のブラビアXRシリーズで、そのための映像エンジンがCognitive Processor XRになります。人の感性に配慮するために「Cognitive」という領域に取り組んだ結果です。
麻倉 Cognitiveというのは聞き慣れない単語ですが、どういった意味なのでしょう？
小倉 確かに、Cognitiveは世の中ではまだあまり表出されていない単語ですね。認識、人が物事を捉えたり、あるいはAIが人間の言葉を理解したりするといったイメージです。
麻倉 いわゆる「認識工学」ですね。ではそれをどのように映像に応用するのでしょうか？
小倉 例えば、クリエイターの意図（Creator's Intent）がどれくらいコンテンツの中に込められているかと考えると、映画のようにひじょうに強いものもあれば、逆に少ないものなど、いろいろなレベルがあると思います。それとユーザー側の認識、受け取り方のレベルを上手く合わせていくことが重要になります。
麻倉 コンテンツの分野によって認識のレベルが変わるということですか？
小倉 そうですね。認識のレベルや表示の方法などでも変えていかなくてはならないでしょう。コンテンツを解析することで、最適な人の認識に対応しようという狙いです。
麻倉 具体的にはどのような処理をしているのですか？
小倉 人の認識は、知覚を通して物事を判断し、その情報を活かすことです。機械の場合はいかに人間らしく物事を判断させるかが重要になります。
今までは機械学習などで、入力された映像を分析する時にAIを使ってきました。これは、オブジェクトごとに細かく情報を分析するには有効です。しかし人間の場合は、同じ映像を見ている時でも、周囲の状況において見え方、認識の仕方が変わります。
麻倉 そうですね。人間の場合は注視点、気になるポイントがそれぞれ異なりますから。
小倉 まさにその注視点が重要なのです。注視点をいかに正しく表現するかに重点を置けば、人が実際に見た場合と同じような感覚で映像を捉えられる。注視点をどのように取り出すのかが、今回のポイントです。映画なら、クリエイター側がフォーカスを合わせるなどの演出で、「ここが注視点ですよ」と示してくれるのでわかりやすいのですが……。
麻倉 フレーミングとフォーカス効果ですね。確かに映画の場合、否が応でも、そこに目がいってしまいます。
小倉 それが彼らの技であり、Creator's Intentなんです。しかし、スポーツやドキュメンタリーなどでは、そうした技を駆使できない場合も多い。でも、その場にいたらこういう風に見る、感じるだろうねという処理を加えることで、あたかも現場にいるかのように感じさせる、もしくはその映像が伝えようとする感動を更に引き上げられると考えました。
麻倉 ブラビアXRでは、これまでと同じ映像であっても、その場にいるような見え方が体験できると。
小倉 今までとまったく違う絵ではありません。あくまでも「自然に見える」というとらえ方なので、「綺麗だなぁ」とびっくりする絵にはならないのです。逆に、人間にとって心地よい映像になりますから、見比べてもらえば違いは分かると思います。
麻倉 「ここを見ろ」「こんなに凄いぞ」ということじゃないと。むしろ、対象物、映っているものがより自然に感じられるということですね。
小倉 おっしゃる通りです。われわれはここ数年Creator's Intentにこだわってきました。そのためには、よりレベルの高い映像フォーマットや再生機器が必要で、今は一定のレベルに辿り着くことができた。そこで今度は人に対してどれだけ心地いいコンテンツ再生の環境を提供できるのか、というフェイズに移る。その取っ掛りがCognitive Processor XRです。
麻倉 4Kや8Kなどのフォーマットが落ち着いてきましたから、次はその中でどうやって感動を上げていくかということですね。では、今回のCognitive Processor XRがどのような働きをしているのか、具体的に教えてください。
小倉 例えば、ロッククライミングの映像。今まではオブジェクトごとに解析をして、中心にいる人物に対してどのような処理を加えるかというやり方でした。人が危険な状況にいる、そこに注視してもらうために、人間の映像に処理を加えるという発想です。
麻倉 この人は現在危険な状況にある、ということを見る人が認識するためには、被写体の人物に対してどのような処理をすればいいか、という話ですね。
小倉 ただし映像全体としては、例えば背景の木があまりにも近くに見えてしまったら、高い崖という認識にはなりません。危険な状況と感じてもらえなくなるわけです。
となると、映像全体としては奥行感をいかに見せるかというところも重要になります。現実問題として、そこまで詳細に認識が使えているということではないのですが、それを目指して映像を作り込んでいこうというのがCognitive Processor XRです。
一枚の絵の中にも様々な情報があります。今まではその中のひとつの情報に注力して絵づくりをしてきました。今回は様々な解析情報を統合し、この映像はこうなるべき、というような処理をします。この統合処理の中に人間の認識を入れることによって最適化します。
麻倉 その場合、見る人に対してある種の感情を喚起させますね。テレビがユーザーに対して、「危険だ」といった感覚的、感情的な情報をより強く与えるわけですから。
小倉 Creator's Intentがはじめから強く入っている映画のような映像ならガツンとくるのですが、そうではない映像に対しても、Cognitive Processor XRを通すことで人間の感情を更に導いていければと思っています。
人の認識は入力した情報をどのように処理するべきか、ということを自分自身で判断している。しかも映像全体を配慮して、それに対し適正な処理を行なっています。Cognitive Processor XRはそれと同じ処理を目指すのです。
麻倉 これは映像エンジンとして、たいへん大きな進化ですね。
小倉 これまでも処理量を上げて、オブジェクトごとに様々な解析を施し、部分、部分で最適な処理を加えることはやってきましたが、全体のバランスにまでは手が及んでいませんでした。今回は映像全体を見る人にとって最適化することが可能になりました。
麻倉 テレビが、人が感じるであろうものを強調してあげるわけで、それこそが感動の理由のようなところがありますよね。これまでのテレビでは、全画面的、全面的に強調されていたけれども、ブラビアXRなら見たいところだけが上手く出てきますよ、という話になるなら面白い。
ところで、人によって認識の仕方が違う理由います。民族や性別、年齢、性格など色々な要素がありますが、そのあたりについて、今回は共通項みたいなものを考えたのですか？
小倉 将来的にはそういうことも考えなくてはいけませんが、まずは人の認識の平均的な部分で処理します。ただし今回はこれまでの処理とはまったく違うレベルに入ったと思っています。
弊社の高画質映像エンジンは「X1」から「X1 Extreme」「X1 Ultimate」と進化を遂げてきましたが、今回は単純に処理量を上げるのではなく、異なる視点の画質処理、映像処理を入れています。これまでのX1プロセッサーとはまったく違うのがCognitive Processor XRなのです。
麻倉 これまでは処理能力方向で右肩上がりに進化していたのが、方向性を変えて質的なところを目指した。しかも流行のAIとも違うところが新しいですね。
小倉 様々な情報を解析する時にはAIも必要になりますが、同時に認識の解析も行なっていく。それらを統合して使うというのが重要なのです。これまでの解析手法に認識の解析を組み合わせることで、次世代の画像処理が実現できるのです。
麻倉 続いて、商品企画部の鈴木さんにお話をうかがいます。まずはCognitive Processor XRというすごいものができた、と。これを商品化するのが鈴木さんの部署になりますね。
とはいえ、今回のCognitive Processor XRは映像全体が変わるということで、4Kや8Kといったセールス的にわかりやすいものではない。これをどうやってテレビに取り入れてアピールしていくのか。
鈴木 ブラビアXRでは、これまで同様に映画を美しく見せるという点は継承していきます。さらにスポーツ番組でも、あたかもそこで見ているような実存感を出したいと考えています。Creator's Intentがわかりやすい映画やドラマとは違い、スポーツはライヴで流しているのでなかなか製作者の意図は伝えにくいのです。
しかしCognitive Processor XRなら、あたかも人間がスタジアムで見ているような臨場感を味わうことができます。特に大画面になれば、よりライブ感が伝えやすい。今回のCognitive Processor XRは、絵に関してはもちろん、音についても2ch音声からのアップミックス機能も備えています。絵と音の両方で、あたかもそこにいるかのような体験を楽しんでいただけるテレビになると思います。
8K液晶テレビの「Z90J」もCES2021で発表されている
麻倉 音に関しては、ソニーの「音源分離AI」技術を活用して欲しいですね（関連リンク参照）。この技術で入力された音源を素材に分けて、ドルビーアトモスに再配置する。そこに音としての意図、認識を入れられるといいですね。
さて、商品としてのテレビでは、スポーツでも様々なジャンルを再生するわけですが、そこで有用な使い方は考えているのでしょうか？
鈴木 スポーツ観戦では、選手の映像と同時にテロップが表示されることがよくあります。これまでは映像のシャープネスを上げて選手をくっきり見せようとすると、テロップでノイズが立ってしまうということがあったのですが、Cognitive Processor XRではそれを別々に処理できるので、実存感を得ると共に不要なノイズのない映像が再現できます。あとは、複数人の選手が映っている場合、みんなが一番見たい選手を選んで処理をかける、といったことも可能になります。
麻倉 それらの処理はすべてテレビが自動的にやってくれるんですね。
鈴木 はい、そうです。
麻倉 ブラビアXRは、今回のCESでは4Kと8Kモデルがラインナップされています。
鈴木 8Kの液晶モデルを1台と、4Kの有機EL、液晶モデルの合計5シリーズを発表しました。なお、弊社はブラビアを発売して15年以上経ちますが、今回のXRに関しては、今後ソニーが提供する体験の代表的なラインナップということで、従来のブラビアとは区別します。Cognitive Processor XRを搭載したモデル群がブラビアXRで、通常のブラビアとは異なるブランディングで展開します。
麻倉 ブラビアがふたつに分かれると。ブラビアXRが上位のラインナップになるのですね。
小倉 上位というよりは、進化版と捉えていただければと思います。
麻倉 新ブランディングで展開するというところからも、Cognitive Processor XRに対するソニーの意気込みと自信を感じます。ブラビアXRシリーズは、まずはアメリカ市場で発売され、例年通りなら春頃に日本で発表になるはずです。どんな感動できる映像を見せてくれるのか、期待しています。
今回の取材はリモートインタビューで行っている。画面右上がソニーホームエンタテインメント＆サウンドプロダクツ株式会社 TV事業本部 商品企画部 統括部長 鈴木敏之さんで、右下が技術戦略室Distinguished Engineer 小倉敏之さん