ソニーPCL（ソニーピーシーエル）は、先端技術による新たな表現手法や体験を生み出し、発信する場として、去る2月1日に「清澄白河BASE」をオープンした。ソニーのCrystal LED Bシリーズを使用した国内初となる常設バーチャルプロダクションスタジオを始め、先端技術を活用した制作機能を備えたクリエイティブ拠点という位置づけだ。
実はソニーPCLでは以前から世田谷の東宝スタジオ内にバーチャルプロダクションを設置し、様々な検証を進めていた。今回の清澄白河BASEはそれらと何が違うのか、また何が国内初なのか。今回の「いいもの研究所」では、清澄白河BASEを立ち上げた担当者氏にお話をうかがっている。
対応いただいたのは、ソニーPCL株式会社 クリエイティブ部門 部門長 岡林 豊さんと、同ビジュアルソリューションビジネス部統括部長の小林大輔さん、ソニー株式会社 ホームエンタテインメント＆サウンドプロダクツ事業本部 商品企画部門 部門長 長尾和芳さん、同Display商品企画1部 統括部長 野村泰晴さんの4名だ。（編集部）
麻倉 今日はソニーPCLの新しい拠点となる清澄白河BASEについて、詳しいお話をうかがいたいと思います。
岡林 ソニーPCLの岡林です。まずは私から清澄白河BASEの概略をご説明いたします。
清澄白河BASEは、「先端技術とクリエイティブを追究し、新たな表現方法を追究する場」と定義しており、バーチャルスタジオだけではない技術開発を含めた最先端の幅広い活動を展開していこうと考えています。それもあり、「BASE」という名前を使っています。
フロアーの面積は1430平方メートルで、その中央にCrystal LEDを曲面設置しています。幅15.2m×高さ5.4mという大きさで、Crystal LEDは高輝度タイプのBシリーズを採用しています。
なお清澄白河BASEはビルの5Fにありますが、スタジオの構築にあたっては、システム、内装の企画、設計、施工をすべてソニーPCLで行いました。
麻倉 幅15.2m×高さ5.4mというと何インチになるのでしょう？
岡林 計算上ではアスペクト比2.81：1の635インチになります。
スタジオスペースの周りにオフィスやミーティングルームを準備しています。スタジオ用途としてCMや音楽ライブの収録なども考えており、多人数の出演者にも対応できる控え室、メイクルームも複数完備しています。
麻倉 映像制作であれば、どんな案件にでも対応できそうですね。CrystalLEDは固定されているのですね？
岡林 Crystal LEDのバックフレームは平面にも曲面設置にも対応できるようにしていますが、基本的には曲面設置で運用しようと思っています。というのも、海外を含めて、バーチャルプロダクションではLEDウォールを曲面設置する方がスタンダードです。その方が臨場感も出ますし、カメラの撮影範囲も平面より広くなります。
麻倉 清澄白河BASEはソニーPCLの施設で、運用もソニーPCLが行うということですね。
岡林 はい、そうなります。清澄白河BASEでは、バーチャルプロダクションとしての撮影以外に、大画面パネルを活用した発表会やイベントも考えています。またB to B用途として、建築物などの実物大のシミュレーションができる場としても訴求したいと思っています。
もちろんソニーPCLにはポストプロダクションの機能もありますので、8Kの編集室、ライブグレーディングといったサービスとも連携していきます。
さらにアメリカのソニー・ピクチャーズのSIS（ソニーイノベーションスタジオ）の拠点と連携して映像を制作したり、SME（ソニー・ミュージックエンタテインメント）との連携も模索して、新しい映像表現に取り組んでいきたい。
小林 ソニーPCLの小林です。現在当社が取り組んでいるのはLEDウォールにインカメラVFXという機能を組み合わせたバーチャルプロダクションになります。
これは、背景とカメラが同期する機能を組み込み、現実空間（俳優）と仮想空間（LEDウォールに写した背景）を同時に撮影できるというものです。撮影の段階で合成が終わっているので、リアルタイム合成処理と呼んでいます。
グリーンバック撮影は後処理で背景を合成しますが、バーチャルプロダクションなら撮影時に既に背景がありますので、カメラの中で合成が終わっているという言い方をしています。ただし、そのためには撮影の前にLEDに写す背景を作らなくてはなりません。しかも、3D立体画像でデータを作っておく必要があるのです。
麻倉 しかし、再生するLEDは2Dですよね？
小林 表示は2Dですが、描画する映像エンジンは3D空間でシミュレーションしています。こうすることで、カメラの動きに合わせて背景を連動できるのです。
麻倉 3Dで背景を作る目的としては、奥行感再現もありそうですね。2Dで表示したにせよ、ちゃんと3Dデータで作ってあれば立体感も得られます。
小林 カメラが大きく動かないのであれば、それほど3Dにこだわる必要はありませんが、リアルな撮影と間違えるような効果を出すためには背景を3Dで作っておいた方がいいですね。
麻倉 バーチャルプロダクション撮影で背景をぼかしたい場合は、LEDの映像をぼかすのか、それとも背景は普通に表示して撮影するカメラ側でぼかすのか、どちらなのでしょう？
小林 基本的には、背景は普通に表示して、カメラ側でぼかして撮影します。
麻倉 そのあたりは普通の撮影と同じですね。ということは、背景はあくまで自然な映像データとして仕上げている。
小林 光学的なぼかしもできますし、カメラのレンズ操作と背景の描画が連動するのでCG的にぼかして撮影をすることも可能です。Crystal LEDで背景を作り込む方法については、撮影の自由度に合わせて色々なパターンがあります。
3Dで作ればカメラは上下左右に動けますが、CG制作の時間とコストはかかります。そこを抑える方法として、写真データを活用するフォトグラメトリーや、カメラがそれほど動かないのであれば、既存の背景素材を持ってくるという方法も可能です。
麻倉 予算や撮影スケジュールに応じて、バーチャルプロダクションの使い方も選択できるのですね。ちなみにバーチャルプロダクションで撮影したもので、われわれが観たことがあるコンテンツはあるのでしょうか。
【カローラ クロス】 TVCM 個性を駆け抜けて（小林健太篇）30秒版
www.youtube.com小林 東宝スタジオで、トヨタ自動車様のカローラクロスのCMを撮影していただきました。背景も床も天井もLEDで囲んで光らせていて、バーチャルプロダクションを発展させた大型ライトボックスのように使っていただきました。
麻倉 これは地デジでも放送されていたCMですね。
小林 SIGGRAPH ASIA（CGとインタラクティブ技術に関するカンファレンス）でこの技術を紹介しました。CrystalLEDの前に車を置いて、車体に背景が映り込んでいる状態を撮影しています。
麻倉 Crystal LEDは2次元だけど、映り込みは本物なので結果としてリアルな映像として撮影できるということですね。単純だけど、面白い。
小林 これまでの当社のバーチャルプロダクションの遍歴としては、まず品川区上大崎のソニーPCL本社に5KサイズのLEDを設置して実証実験を始めました。その後、東宝スタジオに8KのCrystal LEDを建てて、検証を進めてきました。Crystal LEDのカーブを200度とか300度に変えて検証を続けてきたのです。
麻倉 東宝スタジオの施設はこれで終了になるのでしょうか？
小林 はい、今後は清澄白河BASEが活動拠点となります。
麻倉 それにしても、635インチのCrystal LEDは想像以上に凄そうですね。ぜひ実物を拝見したいものです。
小林 設計、施工管理、LEDの施工はすべてソニーPCL内製で行いました。LEDはCrystalLEDのBシリーズ、1.5mmピッチを採用しています。スタジオカメラはソニーの「VENICE MPC-3610」、カメラトラッキングシステムはMo-Sys「Star Tracker」、送出システムは「Unreal Engine 4」というゲームエンジンです。
映像送出用には、ソニーPCLの「ZOET3/ZOET Scaler」が入っています。ZOET3はムービーから、スチル写真、パワーポイントも扱えますので、これらをCrystal LEDに表示可能です。Crystal LEDは2系統の入力を持っていますから、簡単にシーンチェンジできるのもひとつの特長です。
麻倉 コンテンツのクォリティも上がるし、新しいチャレンジもできそうだとなると、バーチャルプロダクションを使ってみたいというクライアントは増えそうですね。
小林 そうなっていただけると嬉しいですね。当社では、バーチャルプロダクションに関するあらゆるサービスを提供しています。もちろんポストプロダクションでは、経験豊富な映像チームやスタッフがいますので、ゲームエンジンの最適化による制作サポートも可能です。
麻倉 映画、CMなどバーチャルプロダクションの応用範囲は広いですから、きっと需要も多いでしょう。
小林 ソニーグループの一員として先端技術の開発も進めていますので、お客様に最先端のバーチャルプロダクション体験をしていただく、そんな大きな流れを作れるのがソニーPCLの特長になると思います。
麻倉 清澄白河BASEは日本最先端とのことですが、他と異なる点は何なのでしょう。
小林 今のところ、Crystal LED Bシリーズを使ったバーチャルプロダクションは、ここにしかありませんので、その点が一番の特長になります。
麻倉 ではそのCrystal LEDについてお話をうかがいたいと思います。
長尾 ご無沙汰いたしております。ソニーの長尾です。Crystal LEDについては私からご説明します。
最新のCrystal LEDでは高輝度のBシリーズと高コントラストのCシリーズをラインナップしています。バーチャルプロダクション用としては、高輝度で、低反射コーティングにより照明の映り込みが少ないBシリーズをお薦めしています。
Bシリーズは、広色域を保ったまま、1800cdの高輝度を再現できます。またCrystal LED共通の特長である100万：1の高コントラスト、スーパービットマッピングによる豊かな階調表現などの特長を備えています。
他社製LEDウォールとの違いは、LEDのキャビネットとコントローラーも自社で提供していますので、信号処理とキャビネットの光学特性をしっかりチューニングできる点になります。
また一般的なバーチャルプロダクションでは、ピクセルピッチが2.5〜2.9mm前後のLEDを使うことが多いのですが、今回の清澄白河BASEのCrystal LEDでは狭ピッチの1.5mmを採用いただきました。これによりモアレが軽減されますし、LEDに近づいてもピクセルが見えにくいので、カメラ撮影の可動領域が広くなることもメリットです。
またCrystal LEDを曲面設置していますので、撮影時にLEDの色視野角をどれくらい担保できるかも重要です。ここに関しては、細かくチューニングをしており、ひじょうに広い視野角を実現できました。
麻倉 自発光なので視野角的には有利ですよね。
長尾 視野角に関しては結構苦労したのです。LEDデバイスの発光特性がそれぞれ違いますので、上下左右、特に左右の視野角をどれくらい担保できるかは、チャレンジングでした。結果として、色視野角はスペック上で170度くらいまでは実現できています。
また、Crystal LEDは高輝度の映像と低輝度の階調表現を同時に再現できますので、それを撮影するには、カメラ側にも広いラチチュードが必要です。当社ではVENICEというデジタルカメラもラインナップしていますので、その点も問題ありません。
もちろん、色再現性も重要です。3D空間で作られる色をCrystal LEDで忠実に再現して、それをさらに広い色空間を持つVENICEで撮影できることによって、最終的なアウトプットのカラーコレクション等の編集作業が削減できます。
野村 ソニーの野村です。私からは、ソニーのカテゴリー横断についてご説明します。Crystal LEDとデジタルシネマカメラのチームは社内的には別々のビジネスグループですが、今回は共同プロジェクトとして、バーチャルプロダクションに取り組んでいます。
当社はハリウッドの撮影監督ともつながりがありますので、CrystalLEDを現地に設置する時に、デジタルシネマカメラも一緒に持ち込んで評価をするといったことも進めています。CrystalLEDの仕様についても、現場の方々に相談しながら詳細を詰めていきました。
麻倉 確かに、その点は普通の撮影スタジオにはないメリットですね。
野村 バーチャルプロダクション向けの機能強化として、カメラシンクや照明用のプロトコルにも対応しています。
バーチャルプロダクションではLEDディスプレイをカメラで撮りますが、もともと両方とも画素構造を持っていますから、周波数特性でモアレが発生してしまったり、発光の同期がずれてしまうと暗線がでてきたりといった弊害があります。
そこで、それぞれのエンジニアが、なぜこういったことが起きるのかを検討し、さらにクリエイターの意見も聞いて解消しています。カメラのシャッター速度と、LEDの発光の周波数をしっかり合わせることで暗線とスキャンラインといった悪影響を防いでいます。
麻倉 さて、Crystal LEDは発表から一年ほど過ぎていますが、その間の反響やどんな点を改善してきたのかについて教えてください。
長尾 Bシリーズは昨年夏後半に発売しましたので、実際の納品はこれからになります。今回の清澄白河BASEは最初の導入例のひとつです。
麻倉 Crystal LEDには他にもCシリーズがありますが、主にどんな用途での問い合わせがあったのでしょう。
長尾 リリース後のお問い合わせとしては、日本、アメリカに限らずバーチャルプロダクションが一番多かったですね。コロナ禍の影響もあって需要が大きく伸びている市場だと思います。逆に美術館などの設備関連は、少し伸び悩んでいるようです。
麻倉 ソニーPCLは、今後はバーチャルプロダクションの設計や設営の相談も受けるとのことでした。ソニーとして総合的に売り込んでいくという展開も期待できますね。
長尾 そこにはかなり期待しています。そもそもCrystal LEDは簡単に展示してお見せするというわけにはいきませんが、ソニーPCLは業界最先端の技術を持っていますから、興味のあるプロダクションの方々にここに来ていただいて、サポートを受けながらCrystal LEDを導入してもらえたらいいと思っています。
麻倉 今回清澄白河BASEができたわけですが、ソニーPCLとしては今後どのような展開を考えているのでしょうか。
小林 バーチャルプロダクションは日本国内では黎明期で、これから使ってみたいという方が増えていくだろうと思っています。
われわれの目的のひとつとして、映像制作の現場でバーチャルプロダクションが普通に選択肢になって欲しいという思いがあります。今は新しい技術として注目されていますが、今後はこの撮影ならバーチャルプロダクションがいいよね、といった会話が現場でなされることを期待しています。
インタビューはリモートで行った。上段左がソニー株式会社 ホームエンタテインメント＆サウンドプロダクツ事業本部 Display商品企画1部 統括部長 野村泰晴さん、上段右が同商品企画部門 部門長 長尾和芳さん、下段左がソニーPCL株式会社 ビジュアルソリューションビジネス部統括部長 小林大輔さん、下段右が同クリエイティブ部門 部門長 岡林 豊さん
麻倉 バーチャルプロダクションは海外が先行しているそうですが、映画制作ではかなり使われているのでしょうか。
小林 最近は動画配信サービスなどで、とにかくコンテンツを多く作らなくてはいけません。ロケでは天候などの問題で予定が立てにくいけれど、バーチャルプロダクションならそんなこともありませんので、採用例は増えています。
麻倉 海外のバーチャルプロダクションでの知見として、何かフィードバックされたものはありますか？
野村 低反射コーティングについて、どれくらいの反射率がいいのかといったスペックに関することや、この距離だとモアレが発生しますとかいった情報がありました。
またCrystal LEDを平面に設置した場合には、カメラが斜めから撮ると色ずれが発生します。ですので、このCrystal LEDであればどれくらいのカーブを持たせるのがいいのかといった基礎的な情報も共有することで、スムーズなスタジオ設営ができています。
麻倉 東宝スタジオに設置していたCrystal LEDはひとつ前の世代だったと思いますが、Bシリーズで揃えたバーチャルプロダクションとしては清澄白河BASEが日本初と考えていいのでしょうか。
野村 はい、そうなります。
麻倉 画素数は8Kとのことですが、撮影ではこれで足りるのでしょうか？
野村 画素数が多いに越したことはないのですが、スタジオのサイズもありますので（笑）。しかし通常のCM等を撮るのであれば充分だと考えています。
麻倉 われわれが清澄白河BASEで撮影したコンテンツを現地で実際に観られるのはいつ頃でしょうか。
小林 既に撮影スケジュールも入っていますので、遠からずご覧いただけると思います。ご期待下さい。
