恒例のNHK技研公開2025 「広がる つながる 夢中にさせる」が、昨年5月末に開催された。本連載では毎回の技研公開の中から麻倉怜士さんが注目したテーマについて、より詳しいインタビューを実施している。後編では、「シーン適応型カメラ」と「イマーシブメディア体験」というふたつのテーマについてじっくり紹介したい。（まとめ・撮影：泉 哲也）
＜テーマ4＞シーン適応型カメラ
画面内の領域ごとに画質を調整する新しいカメラ
一台のカメラで、明るさが異なる部分や、様々な被写体が画面何に存在する映像を高品質に撮影できるカメラの開発も進められている。この技術については2023年の本連載でも紹介しているが、今回それがさらに進化、ダイナミックレンジも向上し、さらに4K解像度での撮影も可能になったという。今回はその進化の裏側を聞いた。
シーン適応型イメージセンサーを搭載した放送用カメラの試作機。会場では実際にこのカメラで撮影した映像でデモが行われていた
麻倉 「シーン適応型イメージング技術」については、2023年の技研公開リポートでインタビューをさせてもらいました。ひとつのセンサーで様々なシーンの撮影に対応しようという研究とのことでしたが、今回はその進化版ということでしょうか？
菊地 2023年の展示から、基本的な狙いは変わっていません。今回のポイントとしては、イメージセンサーの中が複数の細かい領域に分割されていて、それぞれで解像度、フレームレート、露光時間を変えることができる「エリア制御イメージセンサー」を開発しました。
さらに、このセンサーで撮影した映像をリアルタイムに解析して、それぞれの領域でどのモードで動かすかを計算、フィードバックする技術も開発しています。こちらは「シーン情報解析技術」と呼んでいますが、このふたつを活用して撮影するという内容になっています。
麻倉 前回の展示からの進化点はどこなのでしょう？
菊地 2023年には初期型センサーと、それに対応したバラックの撮影装置を展示していました。当時はセンサー解像度は1Kで、制御できるブロック、エリアの単位は64×64画素という粗い状態でした。撮像装置も実験用で、基板を並べて光学合わせして、ようやく撮影ができる状態でした。
麻倉 ということは、実際にフィールド撮影に持ち出すことはできなかった。
菊地 原理検証として、データを集める段階でした。今回は2世代目のセンサーを開発し、解像度も4Kになり、今の放送でも充分使える映像になっています。
制御ブロックも4×4画素という細かい単位になっています。後ほど丸い被写体を撮影した映像を見ていただきますが、2023年の段階ではエッジがギザギザに切り抜かれていたのに対し、今回はちゃんと丸みが残っています。このように細かい制御ができるようになったのが、センサーの大きな改善点です。
撮影システムも進化しました。まだボディは大きいのですが、一応カメラの筐体に収めています。これにより、色々な場所に運んでいって、フィールドで撮ることが可能になりました。さらに前回はモノクロ撮影でしたが、今回はRGBの3板式でカラー撮影も可能になっています。
麻倉 4K解像度とカラー、さらにこのサイズというのは素晴らしい進化ですね。性能面では、検出速度やモードの切り替えも改善されたんですね。
菊地 そこも、今回のセンサーに合わせて改良しています。前回は制御ブロックが64✕64画素で、分割数も270エリアぐらいだったのですが、今回は4✕4画素になり、エリア数も50万以上あります。
そのため、同じアルゴリズムで判定すると演算処理が膨大になってしまいます。そこで、明るい/暗いの判別に関しては1Kのセンサーでの検証結果を受けて、精度を保ちつつ複雑度を少し下げられる手法を開発し、並列度を上げて計算するといった処理内容に変更しています。
エリア制御イメージセンサーも大きく進化した。2年前は解像度も1Kでモノクロだったが、今回は4K＆カラー撮影が可能になっている
麻倉 性能も上がって、解像度的にも細かくなったと。ここまで完成度が上ったのなら、実用化も近いんじゃありませんか？
菊地 シーン解析については、今回ようやくプロトタイプが出来上がった段階なので、これを使って解析アルゴリズムを変えた時にどういう画が出るかを検証していくことになります。あと数年で、製品レベルの制御ができるカメラにまとめられればと思っています。
麻倉 現場のカメラマンからはどんな評価が出ているのでしょう？
菊地 現場のカメラマンさんやVE（ビデオエンジニア）さんからは、こんなカメラを妄想したことはあるけど、本当にできるとは思わなかった、と言われました。
麻倉 なるほど。現場の皆さんは、日頃からこんなカメラが欲しいと感じていたでしょうからね。
菊地 カメラの映像としては、普通に撮るよりもダイナミックレンジが広い状態で出力されますので、VEさんとしても調整できる範囲が広がったと言えるでしょう。
麻倉 ダイナミックレンジは、何倍ぐらい拡張したイメージなのでしょう？
菊地 明るい部分の飽和レベルを4倍に伸ばすことができます。さらに暗い部分をゆっくり撮るモードもあります。フレームレートは半分に落ちてしまいますが、露光時間は2倍にできるので、このふたつを組み合わせると合計8倍になります。
麻倉 フレームレートをうまく使えば、露出の補正にも効くわけですね。そうすると、屋外ロケやスポーツなどでも活用できそうです。
菊地 スポーツ撮影では、フレームレートを調整するメリットが大きいですね。基本的には、止まっている部分までハイフレームレートで撮ってしまうとS/Nが悪くなりますので、そこはフレームレートを抑えて、早く動いているところだけフレームレートを上げるという撮り方ができると、スポーツ中継の画質底上げにつながるでしょう。
麻倉 スタジアムの中継で、フィールドには日差しが当たっているけど、屋根の下は暗くて潰れているといったこともあります。それも解消できそうですか？
菊地 そこについても、明るさに合わせて露光時間を調整すると、見やすい映像にできると思います。
被写体に対してどのような処理を行っているかもわかり易く解説してもらった。写真では、「基本モード」「高輝度モード」「高速モード」の3種類を使い分けている
麻倉 このカメラは、HDR撮影とは違う仕組みになるんですか？
菊地 HDRは表示ベースの技術で、そこに対してこの方式なら撮像側も広い輝度レンジで撮れるようになりますので、組み合わせることで表現の幅を広げることができます。
麻倉 こういったカメラは、これまでなかったわけですよね。
菊地 監視カメラなどで、明るさを領域ごとに変えられるセンサーは技術レベルでは出てきています。しかし今回展示したカメラは解像度やフレームレートまで変えてしまうという、よりチャレンジングな技術になります。
麻倉 解像度を変えるというのは、センサーのエリアを細かく使う時と、大きく使う時で分けているイメージでしょうか？
菊地 解像度とフレームレートはトレードオフの関係になっています。フレームレートを上げる時には2✕2画素の信号を合算して大きな画素として扱い、解像度は落としつつ、感度を補完して、早く読み出しています。
動いている部分はモーションブラーもありますので、解像度的には抑えてもいいといった考え方もできます。であれば最初から解像度を抑えて、その分の余力をフレームレートに振ってあげようという発想です。
イメージセンサーで処理できるデータ量を解像度に振るか、フレームレートに振るか、ダイナミックレンジが広く取れる方に振るかを、領域ごとに制御するという考え方です。
麻倉 フレームレートは早くして、なおかつ制御エリアが4?4画素にできれば一番いいわけですよね。
菊地 すべてが最高のイメージセンサーが実現できればいいのですが、なかなか作るのが難しいので、現在の段階ではこの方法がベストではないかと考えました。イメージセンサーとして、エリアごとに最適化しつつ、高品位な映像を撮影できます。
様々な環境で高解像度映像を撮影するには、8K/240pや4K/240p対応センサーを使うにこしたことはない。しかし実際にはそれだけのスペックを備えたセンサーは難しいので、適応的に処理内容を使い分けるセンサーを開発したという
麻倉 実際に撮影した映像を見て、不自然に感じるところはないんでしょうか？
菊地 そこが一番の課題で、まさにシーン情報解析技術の話になってくると思います。例えば丸いものを間違って認識してしまうと、とたんに不自然な映像になってしまいます。そこについては、これからもアルゴリズムを追い込んでいきたいと思っています。
麻倉 アルゴリズムが高性能であれば、見た目は自然になるとい考えていいんですか。
菊地 今回、4✕4画素まで細かく制御できるようになったので、ほぼ問題ありません。大画面に拡大したら少しは違和感があるかもしれませんが、全体として4Kで見る時には、かなりいいところまできていると思います。あとはそれを正確に認識して、フィードバックするところが課題です。
麻倉 検出のプライオリティとしては、最初に輝度、次に動きといった順番なんでしょうか？
菊地 今は同時にやっていますが、ユーザー側で設定できるようにする予定です。現状は、直感的に制御できるようなユーザーインターフェイスではありませんが、設定項目としては、明るいところを優先したいとか、明るい環境でも動きを優先するといった選択ができるようになっています。
麻倉 回転している部分にスポットライトが当たったとすると、動き優先と高輝度が両方反映できますか？
菊地 今のところ、両方を反映することはできません。その場合は、撮影のシチュエーションによって設定を変えていただきたいと思います。
麻倉 このカメラの使い方としては、どんなケースをお考えですか？
菊地 360度映像を最終目標にしています。従来の2次元テレビであれば、カメラマンが画角を設定して、その中に見せたい被写体を収め、それに合わせてセンサー設定を調整します。しかし360度映像の場合、どこを切り出して使われるか、視聴者がどこに興味を持つかが分からないので、すべてを綺麗に撮っておかなくてはならないのです。
今回4K解像度まで来ましたが、360度撮影となると16Kくらいは欲しくなるでしょう。そのためには、1枚で8K解像度を持ったセンサーで、フレームレートもダイナミックレンジも高いものが求められます。
取材に協力いただいた、放送技術研究所 テレビ方式研究部 菊地幸大さん
麻倉 8K解像度となるとセンサーの画素も小さくなりますから、ますます製造が難しくなりますね。その意味では今回のセンサーは救世主のようなデバイスですね。360度撮影ではセンサーを4つぐらい使うんですか？
菊地 今回の技研公開では30K撮影を実現するために、カメラを6台組み合わせました。将来的にはカメラも少なくしたいと思っていますが、そうするとカメラ一台ずつに求められる解像度は上がっていくことになります。
麻倉 当然そうなりますね。
菊地 最終ゴールは360度撮影ですが、今回4K解像度で、現場でも使えそうなカメラができたので、まずは現行放送の画質の底上げにも使っていきたいと考えています。
麻倉 このカメラは3板式ですが、RGBそれぞれにこのセンサーを使って、検出も同時にやっているのですか？
菊地 明るい/暗いに関しては3板の信号それぞれで判別し、最後に多数決を取るようなイメージです。動きについては、今回はG（緑）の映像で変化を見て、それをR（赤）とB（青）に反映しています。
麻倉 カメラメーカーからの問い合わせなどはありましたか？
菊地 センサーができた段階で、オランダのIBC（欧州映像機器展）で展示しました。すると、マシンビジョンをやっている方とか、工場の監視カメラのメーカーからも反響がありました。製品を検査する時に、どこにどういう明るさのものが流れてくるかは決まっているので、それをあらかじめ設定しておいて、高精度に検査したいと言われました。放送以外でそういう活用もあるのだと、驚きました。
麻倉 確かに、放送以外のジャンルでの活用も期待できそうですね。ちなみに放送用カメラとしては、いつ頃の登場を考えているのでしょう？
菊地 今回展示した試作機で、実際にフィールドに出て撮影をしていきたいと思っています。その結果次第で、現場で使えるカメラにできるかどうかを判断することになります。まずはスポーツや、色々な場所を撮ってみたいですね。
麻倉 その成果が楽しみです。今日はありがとうございました。
＜テーマ5＞イマーシブメディア体験
30K360度カメラと半球表示装置による没入感
将来のテレビの姿として、360度全方向を楽しめる没入型映像体験も麻倉さんが注目したテーマだった。今回は360度で30Kという超高精細な映像を撮影できるカメラと、その映像を体験するための半球状スクリーンを展示、眼の前に展開されるリアルな映像を一目見ようと、来場者の多くが列を作っていた。この30K360度というスペックにはどんな意味があるのか、その点についても詳しくうかがった。
半球状表示装置を体験する麻倉さん。1.5m弱の視聴距離から見ると、かなりの迫力です
麻倉 今回の展示は360度映像の撮影と体験というテーマでした。放送としては、8Kも一段落した感があります。これから技研のテレビ方式研究部はどういう方向に向かうのでしょうか？
日下部 テレビ方式研究部はこれまで8Kを中心に開発してきたこともあり、そこをベースにしながら次の方向性を考えています。
家庭の2Dテレビは、画素数としては8Kで充分だろうといった話は色々なところで出ています。そうなると8K以上の高解像度を2次元テレビではない方向に持っていかないと、研究としては先がないかと思います。
一方で、カメラやモニター関係では画素数向上への取り組みがまだまだ続いています。今回は、8K以上の画素数を2次元平面ではなく360度全方向を撮るために使っていく。こういったアプリケーションを提示しました。
麻倉 そのひとつが、全方向カメラだったんですね。
日下部 麻倉さんもご存知だと思いますが、8Kも最初は力技でした。カメラではデュアルグリーンと言って緑の画素だけ解像度を上げる、上映も2台のプロジェクターをスタックするといった形で画素数向上を実現してきました。今回も、ある意味力技で、カメラを複数台組み合わせることによって、30K解像度を実現しています。
麻倉 360度映像になると、トータルの画素数は8Kでは足りないんですね。
日下部 高解像度な360度映像としては30Kの画素数を想定しています。理由は大きくふたつあって、まずITU-Rから360度映像の勧告が出ていますが、そこで360度映像を投影した2次元映像の画素数が30Kと規定されています。さらに概算にはなりますが、我々は8Kテレビについて画面の水平視聴角度を90度から100度と言ってきていました。となると、360÷90＝4ですから、90度ごとに8Kを割り当てても360度では30Kが必要です。360度映像で30Kというのは、これまでNHKが8Kの開発で積み重ねてきた知見をもとに出てきた数字と一致することになります。
麻倉 それは面白い。となると技研が取り組むテーマとしても、ふさわしいんじゃないでしょうか。
日下部 そのように捉えていただけると、嬉しいですね。NHK技研としては、イマーシブメディアをFuture Visionのひとつとして位置づけています。そのイマーシブメディアの実現手段のひとつとして、360度映像があるんじゃないかと考えられます。
30K360度カメラの試作機。市販のカメラを5台組み合わせて、ドーム状の映像を撮影可能
麻倉 ではまず、30K360度カメラの技術について教えて下さい。
日下部 今回は、6台のカメラを組み合わせていますが、このカメラ自体は技研で開発したものではありません。9K✕7K画素のセンサーを搭載した、ファクトリーオートメーションなどの産業用に使われているカメラです。周囲を撮影するために5台を配置し、もう1台は上方向を撮るために使っています。
各カメラは横方向が7Kになるようにセットしていますので、撮影できる映像は横35K、縦9Kになります。横方向については映像ののりしろ部分も必要ですから、そこを割り引いても30Kの映像が撮影可能です。さらに上方向の映像を組み合わせれば、全天球の映像を撮影できます。
麻倉 ドームスクリーン（半球表示装置）で再生していたデモ映像は、このカメラで撮影したんですね。
日下部 今回は、投写の関係で撮影映像の正面部分だけ使いました。360度映像ですから、本当は後ろ側にも映像があったのですが。
そもそも半球状のディスプレーは作るのが難しいです。画質的にはマイクロLEDなどの自発光デバイスが理想ですが、それらのデバイスで丸い形状を作るのは、いまのところ物理的な制約がひじょうに多いです。そう考えると、現時点ではプロジェクターの方が設置の自由度が高くなると考えています。そういう理由もあって、今回の展示ではプロジェクターを使って半球形スクリーンに投写しています。
一方で、プロジェクターで投写すると、半球形スクリーンの中で光が乱反射するので黒浮きが発生します。そのため暗部の再現が厳しくなるということは設計段階からわかっていましたが、今回は多くの方に360度映像って面白いよねっていうことを知ってもらいたいと思い、画質についてはちょっと目をつぶっています（笑）。
麻倉 私も技研公開でデモを拝見しましたが、結構細かいところまで視野に入るから、すごい臨場感でした。
日下部 ありがとうございます。もともと我々は8Kの2Dテレビで臨場感を追求してきました。8Kなら2Dでも臨場感が再現できますが、2次元テレビである限り表示装置のフレームが必ず見えてしまいます。
しかし今回の半球表示装置は、球の中心位置から見ていただくと頭の横まで映像に包まれますから、フレームが気にならないのです。そうすると没入感も高まってきます。
麻倉 それは感じました。たとえ少し黒が浮いていたにしても、フレームがないことのメリットの方が大きかったんでしょう。
イマーシブ体験システムのコンセプトを日下部さんに解説していただいた
日下部 フレームが見えるか見えないかは、映像に対する没入感に大きく影響すると感じています。映像に枠があると、現実とテレビの世界に境目があるということを意識させてしまいます。でもフレームが見えないと、視覚情報からは、テレビなのか、リアルなのかの判別が付きにくくなるのです。
今回は半球表示装置の直径が3mなので、デモを体験いただいた時は視距離はその半分、1.5mぐらいまで近づいています。でも1.5mあれば、近づいたとしても圧迫感はさほど感じなられなかったと思います。
麻倉 確かに映像は近いんだけど、圧迫感はなくて快適でした。
日下部 コンテンツの中で、橋桁の下をバスが通り抜けるシーンがあったのですが、技研公開で皆さんの様子を見ていると、橋桁をくぐる時に首をすくめるんです（笑）。ただの映像だと思っていれば、別に橋桁が近づいても怖くもなんともないはずです。それでも首をすくめてしまうということは、映像に没入している証拠だと思いました。
麻倉 映像であっても、恐怖感を訴えてきたということでしょうね。
日下部 このシステムが没入感を感じさせる要素は大きくふたつあって、フレームが見えておらず、映像でほぼ視野を覆えていることと、高解像度を備えていることだと考えています。話が元に戻りますが、我々が8Kでずっとやってきた臨場感や実物感の知見というのは、こういうところに役立ってくるんだろうと思っています。
麻倉 解像度がある程度備わっていないと、いくらフレームがなくても駄目だというのは面白い。フレームがないってことは現実世界のはずなのに、現実がこんなにボケているのはおかしいと、脳が混乱しているのかもしれません。
日下部 映像をリアルに感じるというのは、言い換えると視覚から得られる情報が実物であると脳を騙しているのだと思います。そのためには、解像感は必要です。映像だと思った瞬間に、臨場感は下がると思います。
麻倉 今日のお話をうかがって、本当の臨場感を得るための手段としては、フレームレスで高解像度じゃなきゃいけないという理由がよく分かりました。単純にイマーシブを感じてくださいというだけではなく、そこに求められる要件を検証しているのが、NHK技研らしいですよね。
日下部 技研としてやる以上、見て面白いだけというわけにはいきません。そこには思想なり、論理なりが必要です。
投写用には魚眼レンズを搭載したプロジェクターを採用
麻倉 個人的には、最近の技研公開に物足りない部分も感じていました。漠然としたテーマが多く、技術面でも次世代への提案が感じられなかったんです。でも今の話を聞いて、360度映像は技研のやるべきテーマだというのがよく分かりました。
しかも単にイマーシブが流行っているからということではなく、まず8Kがあって、その知見を生かしている。フレームレスの大切さとか、本当にすべてが腑に落ちました。
今回のインタビューでも、音声のボリュメトリック再生だったり、シーン適用型カメラだったりと、360度映像と音声で活かせそうな技術がたくさんありましたから、総合的な発展が期待できます。
日下部 今回のデモは、実写映像にこだわりました。というのも、最近はヘッドマウントディスプレーなどで、色々な360度コンテンツが楽しめるようになってきましたが、それらはCGが多いんです。
しかしテレビはあくまでリアルを撮影して、それを共有するというのがベースにあります。そういった中で、ちゃんと実写の360度映像を見せるということを重視したのです。
麻倉 確かに、実写かどうかは大切ですね。CGもやっぱり脳が嘘だと感じてしまいますからね。
日下部 もちろんイベントやアミューズメントパークでCGを360度で楽しむのはありだと思いますが、我々は最終的には放送を視野にいれなくてはいけませんので、実写ということが重要です。
麻倉 解像度的には30Kの上は目指さないのでしょうか？
日下部 技術的にも、360度で30Kというのはひとつの到達点だと思います。画素数としては30Kにフォーカスした上で、他の部分を改善していきます。
例えば今回のカメラも複数台を組み合わせているので、リアルタイムでは視聴できません。6台分のカメラの映像を30Kに合成する作業が必要ですし、その映像もデータ量が多すぎるので簡単には伝送できない。それを踏まえて、リアルタイムで30K映像を出力できるカメラや伝送手段、さらにその信号を表示するデバイスを開発していくところが必要かなと思います。
それらの要素技術が揃ってくると、30Kカメラを使った遠隔地からの生中継ができます。生中継ができるなど、テレビ放送として求められる特性を、360度映像で実現するための技術開発が優先事項になるでしょう。
麻倉 30Kは今回は6台のカメラを使っているとのことですが、将来的には1台で撮影できるのでしょうか？
日下部 残念ながら、一枚の撮像デバイスで360度全方向を撮影するのは無理だと思います。そもそも360度全方向からの光を取り入れるような屈折率を持ったレンズは、物理的にも不可能でしょう。
となると、カメラは最小でも二板式になるでしょう。二板式で、前後180度ずつ撮れる撮像デバイスを背中合わせにすれば、映像をつなぎ合わせる部分も最小限にできます。そう考えると、二板式の360度カメラが最終的な到達点じゃないでしょうか。
取材に協力いただいた、放送技術研究所 テレビ方式研究部 副部長 日下部裕一さん
麻倉 家庭のアプリケーションとしては、360度映像を全部見ようと思ったら、やっぱり球形ディスプレーが必要ですよね。
日下部 360度映像をどんな表示デバイスで見ていただくかについては、市場に任せてもいいと思っています。
今回、半球表示装置という特殊な形のディスプレーを作ったのにはふたつの理由があります。ひとつは、360度映像はどうしてもヘッドマウントディスプレーで見るイメージが強いので、ヘッドマウントディスプレーがなくても充分面白いよというのを見せてあげたいという狙いです。
もうひとつ、テレビはリビングで食事をしながら視聴されることも多いのですが、家族全員がヘッドマウントディスプレーをかけて食事しながらテレビを見るという世界は、どうしても思い浮かばないんです。テレビ放送の360度映像は、やっぱり裸眼で見たいはずです。
ヘッドマウントディスプレーがなくても楽しめる点と、家族みんなで一緒に楽しめること、そのふたつのコンセプトが私の中にありました。
麻倉 確かに、ヘッドマウントディスプレーがいくら高画質で軽くなったといっても、常に装着しているというのは違和感があります。
日下部 球形映像を平面に抜き出す部分の変換技術は数学的には確立されているので、360度映像から歪みのない映像を切り出すこともできます。そうすると、一部分を2Dに切り出して平面ディスプレーで楽しんでいただくこともできるでしょう。
麻倉 となると、制作側も色々考えなきゃいけませんね。映像の一部を切り出されるのか、全部見てもらうのかでコンテンツの作り方も違ってくるでしょう。
日下部 そこはひじょうに大きな問題になると思っています。そもそも360度映像はカメラを動かさなくても全方向が撮影できるので、言い換えると演出がいらないということにもなります。
麻倉 となると、今までの撮影や編集の文化はどうすんの、みたいな感じですね。
日下部 360度カメラでコンテンツを作るとなった場合に、制作意図をどう込めるかはひじょうに大きなテーマになるでしょう。今回ご覧いただいたコンテンツは自然の風景が多かったので、制作意図的なものはあまり必要なかったのですが、実際の番組を360度カメラで撮る場合は、そこに演出意図が入ってきます。それは、2D作品とは違う考え方になるでしょう。
麻倉 大きな課題だからこそ、技研として頑張るべきでしょう。重要な研究テーマが見つかって良かったじゃないですか（笑）。
日下部 360度映像はFuture Visionの一角としてのテーマではありますので、その中で可能性を探っていきたいと思います。
