CES2020でのソニーブースでは、モビリティ分野以外でも注目の展示が行なわれていた。それが“クリエイターの創造力を解き放つ3D空間映像技術・3D空間ディスプレイ技術”で、具体的には「3D空間キャプチャーによるバーチャル制作技術」「4K Crystal LEDディスプレイ」「3D空間映像技術・3D空間ディスプレイ技術」などだ。CESインタビューの最後は、それらコンテンツ制作者に向けた新しい提案について、ソニーホームエンタテインメント＆サウンドプロダクツ株式会社TV事業本部 技術戦略室 小倉敏之氏のお話を紹介する。（編集部）
麻倉 今年のソニーブースでは、コンテンツクリエイターに向けた新提案が多く見受けられました。クリエーションとリプロダクションへの提案、並びにCrystal LEDの活用です。そもそもなぜ、CESでこうした展示を行なったのでしょうか。
小倉 今のソニーの存在意義は「クリエイティビティとテクノロジーの力で、世界を感動で満たす」というものです。これはソニーの設立当初の「技術を通じて世の中を豊かにする」という思いを現代風に言い替えたものでもありますね。
かつてはテクノロジーを通じて便利さや効率を追求してきましたが、今は追求すべきは感動であるとなったので、そこに創造性を加えた言い方だと理解していただければと思います。
そもそもクリエイターは感動を届けたい人です。ユーザーは感動を受け取りたい人です。この両者をいかにうまくつなげてあげるかが、ソニーの仕事なのです。
そこでは、クリエイターが生み出した感動を正しく伝えようという大前提があります。ここ数年、ソニーでは制作者の意図をきちんと再現するための手法や技術を多数、提案してきました。
麻倉 制作者が持っている思い、コンテンツの感動を伝えるためにそれが必要ということですね。
小倉 よく言われることですが、電源の入っていないテレビを見て感動する人はいない。感動はあくまでもコンテンツであると。
3D空間キャプチャーによるバーチャルスタジオ。カメラの動きに従って「4K Crystal LEDディスプレイ」の映像内容が変わる
麻倉 私はテレビの形を見るだけで感動しますよ（笑）。その昔のソニーの11インチ有機ELテレビ「XEL-1」なんて、よく作ったなぁと思いましたからね。
小倉 ありがとうございます。確かに麻倉さんのようにハードウェアそのものに感動してくれる方もおられますが、それでもコンテンツが感動の源泉なのは間違いないと思います。
麻倉 確かに最近のソニーテレビに搭載されている「Netflix画質」モードや、他社が搭載した「フィルムメーカー」モードなどは、コンテンツクリエイター側からのメッセージでした。
小倉 次に重要な事は、より大きな感動を届けることです。コンテンツを正確に届けることができたのだから、そこから得られる感動はもっと大きくしたい。ではより大きな感動はどこにあるかというと、迫力やリアリティのある映像や、高音質で広い音場を感じられるオーディオがもたらしてくれるはずです。
麻倉 考えてみると、ソニーはトランジスタラジオの頃から音で感動を与えてきたわけですから、今改めてそれを振り返っているわけですね。
小倉 ソニーはそもそもそういう会社だったことを、改めて社員が認識し始めていると言った方が正しいでしょう。
そのうえで、出口側としてのテレビやオーディオ機器の体験レベルを引き上げたときに、再生するコンテンツの感動が大きくないと、せっかくの高品質が活かせない。なので今回は、コンテンツ制作者の皆さんにもいいものを作ってだきたいということをメッセージとして出そうと考えました。
麻倉 コンテンツの感動とおっしゃいましたが、具体的にはどんな内容を考えているのでしょうか？
小倉 われわれは“箱”を用意することはできます。例えばテレビの調整機能としてカラーボリュームを大きくすることはできます。出口側としてはより高い表現力を用意しますので、それを使ってクリエイティビティ溢れる、大きな感動のコンテンツを作ってくださいということです。
麻倉 革命的な発想ですね。これまでは上流、つまりコンテンツが一番高品質で、下流のユーザーに届くまでには再生機器などで何らかの制約が加わるというのが普通でした。しかし8KやHDRでは、ユーザーが使っている機器の方がスペック的には上という状態にもなる。
小倉 ある意味ではそうですね。スタジオモニターのBVM-X300に対しても、最高輝度は家庭用のブラビアの方が高かったりします。また画面の大きさを考えたときに、X300のサイズで受け取れる感動量は限られてしまうのです。
麻倉 30インチで得られる感動量ということですね。
小倉 映像の迫力は画面サイズが大きい方が有利ですから、今回の220インチ・Crystal LEDの展示では、そういった点をクリエイターさんに確認していだきたいと思っています。30インチサイズでグレーディングしたコンテンツが220インチでどのように再現されるのかを知ってもらうことで、Crystal LEDでより迫力ある映像を作り出していただきたいのです。
Crystal LEDが再生する『ピーターラビット』。もの凄いリアリティだ
麻倉 それはとても大切なことです。クリエイターは30インチの世界として最高のインテグレーションをしながら、頭の中ではもっと大きな画面でユーザーにどう見えるかを想像しながら作業しているはずです。
小倉 おっしゃる通りです。昨年のNABショーで8KのCrystal LEDを展示したときにデモ用の映像を作ったのですが、その制作を担当したクリエイターさんは、実際に8Kで観てみたらイメージしていたものと印象が違うと言っていました。そこでグレーディング作業を何回もやり直して、やっとあの大きさで満足いく表現ができる映像を作ったそうです。
麻倉 それはすごく興味深い。どんなところが違ったのでしょうか？
小倉 一番は映像から受ける迫力です。
麻倉 つまり、大画面で観たときに感じる迫力が、いくら高画質であっても30インチのX300では再現できていなかったということですね。
小倉 テレビの進化は画質と視野占有率のふたつが大きなポイントでした。画質面では、X300もCrystal LEDもほぼ同じ品質を持っているでしょう。一方でテレビでは大きさは正義で、視野占有率が大きければ大きいほど、人が受け取る感動量が大きくなります。
麻倉 これは圧倒的な真理ですね。NABショーではそれをふまえて映像制作をCrystal LEDで行なったのですか。
小倉 ハリウッドのソニー・ピクチャーズに220インチのスクリーンがありましたので、そこでグレーディングをしたそうです。
麻倉 なるほど。リアルなサイズでグレーディングしたわけですね。
小倉 小さな画面で想像しながら絵を作るという作業は、大画面を見慣れた人でないとできないでしょう。しかしほとんどの人は220インチサイズには慣れていないので、実物サイズでやるしかないのが現状です。
麻倉 といっても、Crystal LEDの220インチなんてほとんどないわけですから、そもそも見慣れようがない（笑）。
小倉 Crystal LEDの特長は、ものすごく小さくて明るい点光源だということです。他社のLEDは黒占有率が60〜70％くらいで、これに対してCrystal LEDは99％以上あります。これは弊社のCrystal LEDだけの強みです。
点光源で構成されたディスプレイデバイスは、Crystal LEDが初めてになり、本当のマイクロLEDとも言えます。その点光源が作り出す画質に秘密があるようで、Crystal LEDのすさまじいリアリティは、そこに要因があるのではないかと私は睨んでいます。
Crystal LEDを見て、グレーディングする。ハリウッドのソニー・ピクチャーズの220インチ/4Kスクリーン
麻倉 確かにCrystal LEDの映像は素晴らしいのだけど、どこが素晴らしいのかと聞かれると説明が難しいですね。
小倉 ひとつには色の純度でしょう。液晶パネルも有機ELも、黒地に白いキャラクターを出すとエッジに赤や青が見えますよね。あれはサブピクセルの端の色が見えているのです。しかしCrystal LEDはRGBがものすごく小さくて、しかも近接していますので、人間の目ではひとつの白に見えます。
麻倉 確かにCrystal LEDはエッジがものすごく自然です。
小倉 ランバーシアンの配光特性といいますが、ほぼ球面で配光するのです。すると一般的なRGBが離れている光源では、どうしても平たい部分がでてきてしまい、それが連なった状態でグラデーションを描くと、階調にもでこぼこがでてきてしまう。Crystal LEDでは綺麗な円なので、そのつながりがよくなるのでしょう。
麻倉 ということは、単純に大きな画面でグレーディングすればいいということではなく、モニターのデバイスも選ばなくては駄目と言うことですね。
小倉 その通りです。大画面用映像のグレーディングには、ぜひマイクロLEDを選んでいただきたいですね。
麻倉 さて、今回の展示ではCrystal LEDを使ったバーチャルスタジオという提案があり、たいへん面白かった。というのも、ひじょうにリアリティの高い、本物そっくりの背景が描かれていたのです。カメラがパン＆チルトしても絵が連動して変わっていく。それを撮影した映像をテレビで観ると、まさに本物のように感じられました。
小倉 最近、他社でも実際にある建物などを3Dスキャンして、その構造を再構築するという試みをされていますが、あれはバーチャルスタジオと同じポイントクラウドのスキャニング技術を使っています。
レーザーを放射して、それが帰ってくる時間が分かると対象物までの距離がわかります。測定ポイントに光源を置いて、ありとあらゆる方向にレーザーを出して周辺をスキャンするのです。物体を完全な3Dとしてキャプチャリングするのが、ボリュメトリックキャプチャーという技術で、それを使って作り出されたのがポイントクラウドのデータになります。
麻倉 なかなか難しいですね。
小倉 たとえばこの部屋を光センサーを使って取り込むと、3次元の空間データができます。バーチャルスタジオはそれをCrystal LED上に映写しているイメージです。この取り込む手法がボリュメトリック技術で、それを処理するソフトが弊社のアトムビューになります。
麻倉 スタジオ側からするととても魅力的な提案でしょう。
小倉 今回のデモでは、ソニー・ピクチャーズの敷地の一角を実際にスキャンしました。リアルに再現するためにもの凄く高精細なデータを取っています。
麻倉 確かにカメラが斜めになっても、隠れた部分まで再現されていました。これは、背後のデータまできちんと取っている証拠ですね。
小倉 3Dでキャプチャーできていれば、どこから観てもちゃんと元の状態が再現できます。そもそも角度が変わっても見え方が同じでよければ、写真でかまわない。ボリュメトリックデータを取るというのは、観る角度を変えたときにも元の状態をきちんと再現できるようにする、ためです。
麻倉 デモ映像では手前に車があって、背景を合成しているとのことでしたが、映像ではまったく質感が変わりませんでした。
小倉 あれは、リアリティに優れるCrystal LEDだからできているのです。撮像側のカメラがどんどん性能が上がってきていますので、背景がフェイクだとすぐにばれてしまいます。そういうことが起きないように、Crystal LEDにボリュメトリックで作り出したCGを再現しているのです。
もちろんCGもリアルに描けるようになっていますが、すべてCGにするともっと予算と時間が必要になります。現状では一度セットを組んでそれをスキャンした方が有利でしょう。データを取れれば、セットを壊してもバーチャル的に再現できます。
麻倉 先ほどのような、カメラが回り込む映像の再現は難しいのでしょうか？
小倉 あの映像は、カメラの位置を計算して、それに合わせた映像を3Dのボリュメトリックのデータからリアルタイムにレンダリングしています。そのためにはPCのパワーが必要ですが、なんとか高速処理して映し出しています。
麻倉 さて、ソニー・ピクチャーズとしては、この技術を今後どのように実用化していく予定なのでしょうか？
小倉 『Shark Tank』というアメリカのバラエティ番組のセットで、既にボリュメトリック技術が使われていると聞いています。
麻倉 そうなのですね。もう実際に使われていたのですね。
小倉 はい。その意味ではARリアリティのようなものは実用化しつつあります。弊社のバーチャルスタジオも、スキャニング技術、それを処理する技術、位置を特定して動かす技術、Crystal LEDという技術があって、初めて実用化できたともいえます。
麻倉 将来的には、Crystal LEDを使った映像作品の一貫制作も夢ではなさそうですね。個人的には、今の有機ELがどうなっていくのかも気になりますが（笑）。
小倉 いつも申し上げていることですが、完璧なディスプレイデバイスというものはない、というのが実情です。
壁型LEDの最大の弱点は小型化です。今のクリスタルLEDは1.26mmピッチで、4K解像度を実現するには220インチが必要ですし、8Kだと440インチになってしまいます。今のところはそこがボトルネックになっています。ただ、2K解像度でも、実際の絵を観た方は4Kだと勘違いされています。
麻倉 それはコントラストの力、先ほどおっしゃった点光源の力でしょう。
小倉 おそらくコントラストの表現力、情報量の多さが画素数の少なさを補っているのではないかと考えています。人の脳が両方をミックスしてトータルの情報量として処理しているのではないでしょうか。
麻倉 となるとCrystal LEDそのものがひじょうに創造的なディスプレイであって、むしろ制作者の思い、インテンションを引き上げてくれているという考え方もありますね。
小倉 これまでは技術的な制約もあって、クリエイターのイメージを小さな枠、規格の中に押し込めなくてはならなかったのですが、そこから解放されて好きなようにクリエーションしてくださいといえるものが出来上がったと考えています。220インチ、4KのCrystal LEDでコンテンツを作ってもらえるようになれば、画期的な作品がいっぱい出てくるのではないでしょうか。
麻倉 Crystal LEDは、今後どのように普及していって欲しいとお考えですか？
小倉 映画館のスクリーンをCrystal LEDにしていただきたいですね。Crystal LEDのいいところは、映画以外にもスポーツやコンサート、オペラなど様々なコンテンツが簡単に切り替えられる点にあります。フレームレートも最大120pなので動きの速いコンテンツでも問題ありません。
麻倉 私は100万円の100インチ8Kに期待したいです。別の展示として、「視線認識型ライトフィールドディスプレイ」ももの凄く面白かった。立体の小さなダンサーが踊っている様子が、自然で、しかもリアルでした。まさしく未来のテレビですね。
3Dテレビの波はこれまでも繰り返し起こっていますが、今回は自由視点とリアリティ、距離感の再現とも満足できそうです。画面サイズは15インチですが、もっと大きくできると言うことでしたから、期待します。
「視線認識型ライトフィールドディスプレイ」。立体の小さなダンサーが踊っている様子が自然で、しかもリアル
小倉 3Dは、テレビに残っているひとつのテーマです。しかし特に裸眼3Dは視差ポイントを多く作らないといけないので、ディスプレイ側の解像度が落ちてしまいます。それを嫌って視点を固定すると、視聴者が頭を動かすこともできなくなります。今回はそれらの制約を、高いレベルで解消できましたので、気に入っていただけたのではないでしょうか。
ただし、裸眼3Dもいいコンテンツがないと意味がありません。そこで、先ほどのボリュメトリック技術が生きてきます。ボリュメトリックで作った高画質でリアリティの高い映像を3Dの中に盛り込んでいくといったエコシステムが出来上がっていけば、新しい感動体験を提供できるのではないでしょうか。
麻倉 今回のCESを通して、“空間の時代”が始まったのではないかと見ています。光の反射を含めた空間感を体験するのが、映像が目指すひとつの方向でしょう。音は既に空間再現に向かっているわけで、今後は音も絵も空間で楽しむ時代になるでしょう。
小倉 空間を再現するということは、リアリティを再現することです。弊社は以前から“質”でリアルを再現しようとしてきました。今は“場”のリアルの追求という発想が出てきていて、この両者が高まっていくと、素晴らしくリアリティのある空間体験ができるのではないでしょうか。
麻倉 おっしゃる通り、場の空間性が出てくることで初めて感じられるものはあるでしょう。
小倉 コンテンツの体験レベルを高めようとすると質だけでなく、視野占有率も必要になります。視野占有率を上げていくとどうしても空間再現にならざるを得ません。最終的にはリアルにつながっていくだろうと思います。
麻倉 今年のソニーブースは昨年と様変わりで、本当に素晴らしいと思いました。展示内容にソニーのアイデンティティがあって、ハリウッドにも新しい提案をしている。しかも家庭用ディスプレイにつながる技術も含まれているのがよい。
小倉 コンテンツの表示側が進化しないと制作側も進化しませんよね、ということに気がつきました。今回は、テレビやオーディオの表示側がここまで進化したので、これを活かせるコンテンツを作ってくださいと提案したのです。コンテンツ側を含めたエコシステム全体を進化させていくのがソニーの役割で、世界で唯一それができるのが弊社だと自負しています。
麻倉 その言葉を信じて、2020年の展開に期待します。