NHK放送技術研究所では6月初旬に「NHK技研公開2023」を実施した。今回は「メディアを支え、未来を創る」をテーマに、昨年に引き続き東京・砧の同研究所にてリアル開催された。今回は本連載恒例の、麻倉怜士さんが注目したテーマについての深掘りインタビューをお届けする。今年の展示で麻倉さんが注目した4つのテーマについて、前後編にわけて紹介したい。（編集部）
＜テーマ1＞シーン適応型イメージング技術
NHKでは、様々な動きや明るさの被写体がひとつの画面内に存在する360度映像に対応するため、その内容に応じて異なる方式で撮影できるイメージング技術の研究を進めている。画面を細かい領域（ブロック）に分け、映像をリアルタイムで解析することで、その領域ごとにセンサーの解像度やコマ数を変更するというものだ。今回の技研公開ではその試作モデルが実際にデモされていた。
麻倉 こちらはひとつのセンサーで様々なシーンの撮影に対応しようという研究だそうですね。まずはその概要から教えてください。
冨岡 近年バーチャルシステムなども登場しており、テレビでも将来的に360度の映像を撮影するといったことが考えられます。そのためにはカメラのイメージセンサーには、高解像度、ハイフレームレート、ハイダイナミックレンジなシステムが必要になります。しかしこのすべてを満足するのはなかなかむずかしいのです。そこで今回は、シーン適応型イメージング技術を開発しました。
麻倉 これは、CMOSのある部分の動作を変えるわけですか？
冨岡 そうです。信号処理を変えるのではなく、イメージセンサーの動作自体が局所的に変わるというもので、そこがこの技術の特長にもなっています。
具体的には画面を272の細かい制御ブロックに分け、このブロックごとに、異なる解像度やコマ数、露光時間が設定できるイメージセンサーを開発しました。これにシーン情報解析技術を組み合わせることで、撮影する内容に応じた撮像モードに自動的に切り替えてくれます。こちらがエリア制御イメージセンサーの実物になります。
テストチップなので解像度は1K×1Kですが、画面内が16×17ブロックに分けられており、ブロックごとに異なる解像度やコマ数、露光時間が割り当てられるようになっています。
麻倉 それは被写体の動きを予測して撮影内容を切り替えているんですか？
冨岡 エリア制御イメージセンサーと一緒に、シーン情報解析技術も開発しました。こちらは取得した映像をリアルタイムに解析して、イメージセンサーの制御ブロックごとに最適な撮像モードを判定してくれます。判定結果は即座にイメージセンサーにフィードバックされます。
麻倉 その切替は、リアルタイムで動くんですか？
冨岡 60分の1秒前の情報を解析して、次のフレームに反映するようになっています。
麻倉 ということは、静止画情報については解像度や明るさをひとつ前のフレームを見てチェックして、次のフレームを撮影する際にその情報を元に、もうちょっと明るくしましょうといった動作をすると。
冨岡 そうです。フレームの輝度分布を解析して明るい部分と暗い部分に分け、撮影を高輝度モードと低照度モードのどちらで行うかを選択します。また、動き検出用のモーションセンサーも搭載していますので、こちらの結果と合わせてフレームレートを上げることもあります。その場合は解像度を抑えることになります。
麻倉 色は関係しないのですか？
冨岡 現状はモノクロセンサーなので、輝度しか判別していません。次の段階はカラー撮像システムを目指していますので、そこでは色情報も解析対象になります。
麻倉 デモ展示では、動いている部分とカラフルなところ、明るいところとかなり作り込んだ被写体を準備されていました。
冨岡 色々工夫しました。中央右下の楔型の模様が回転している部分では動きを優先して、ハイフレームレートで撮影します。その左の箱の中にはヘリコプターの模型が入っていますが、ここは低照度モードで撮影する部分になります。それ以外は高輝度モードで撮影しています。
横のモニターがシーン情報解析の結果です。画面の赤いエリアが動きがある部分で、緑が高輝度モード、青が低照度モードといった具合に画面の特長を検出しています。リアルタイムで明るさと動きを感知して、3種類の撮影モードを切り替えているのがおわかりいただけると思います。
麻倉 現状は16×17ブロックで検出しているとのことで、若干輪郭がガタついている印象はあります。分割数が増えていけば自然な映像に近づいていくんですね。
今回のデバイスで、画面内の明るい部分や動きのある部分をどんなモードで撮影しているかを解説した映像
冨岡 今後は分割数を増やしていって、丸い物体が回転しているような動きでも、被写体の形に合わせてより丸く再現できようにしていきます。
麻倉 シーン情報解析はどんな順番で行っているのでしょう？
冨岡 レンズから入った光を分光して、ふたつのセンサーに送っています。ひとつが動き検出用で、まず高速モードの判定をします。もう一つがエリア制御イメージセンサーで、撮影した映像から高輝度モードにするか低照度モードにするかを判定します。
麻倉 それで本体が大きめなのかな。カメラに内蔵するには、検出機構をもっと小型化する必要がありますよね。
冨岡 今は別々のセンサーで明るさと動きを捉えていますが、動き検出については色々な方法がありますので、小型化も可能だと考えています。
今使っている動き検出用のセンサーは、画素値が変化すると、それがイベントとして出力されるというもので、変化があった座標の情報が出てくるというものです。ですので、フレームという考え方が基本的になく、変化があった場所が瞬時にわかりますので、かなり低遅延なのです。
麻倉 こういったエリア制御が可能なイメージセンサーは、世界初ですか？
冨岡 輝度に応じて露光時間やフレームレートを変化させるようなセンサーは発表されてはいましたが、今回のセンサーはそれらに加えて解像度も適応的に制御しています。これは世界初だと思います。
麻倉 相当頭のいいセンサーですね（笑）。開発はかなり苦労されたんじゃないですか？
冨岡 センサーとしてはかなり特殊で、画素にスイッチを追加した構造になっています。そこでフォトダイオードの電荷の転送を制御するための機構がついています。これで画素の動作を適応的に制御できるわけです。この開発には時間がかかりました。
取材時のデモの様子。左の写真の被写体を右のカメラで撮影している
麻倉 このセンサーは、いつ頃の実用化を目指しているのでしょう？
冨岡 まずは高解像度化して、実用的な映像が取れるカメラを開発したいと思っています。解像度は4Kで、ブロックサイズも今はひとつあたり64×64画素で構成されていますが、もっと小さくすることを目指しています。そこまでいけば、被写体の形に合わせた撮影が可能になるでしょう。2025年までには、4K解像度でシーン適応可能な撮像システムを実現したいと思っています。
麻倉 このセンサーの応用分野は、やはり360度撮影なんでしょうか。
冨岡 最終的には、360度映像を、より高品質に撮るということを目指して開発しています。360度で撮影していると、どの部分に動きがあるかわかりませんし、真っ暗な部分とか、太陽が映り込んできたとか、あらゆるケースが画面の中に入ってくる可能性もあります。
今までのテレビでは画角が限られていたので、例えば輝度が変化したらそれに合わせて露出を変えることもできましたし、動きの早い被写体を撮る場合はハイスピードカメラを使うこともできました。それらを組み合わせて番組を作ればよかったのですが、360度撮影となるとそういうわけにもいきません。
あらゆるものが画面の中に入ってくるであろう360度映像を綺麗に撮ろうとすると、現状では考えられないぐらいの解像度、フレームレート、ダイナミックレンジを備えたハイスペックなセンサーが必要になるのです。
麻倉 不可能ではないだろうけれど、かなり技術的難易度も高いし、コストもかかりそうですね。
冨岡 そのために、被写体の特徴に合わせて最適な撮像モードに切り替えたほうがいいだろうと考えたのが今回のセンサーです。
麻倉 360度映像なら、画像を切り出して使うという方法も考えられますから、解像度も相当大きくないと駄目ですね。最低8Kですか？
冨岡 最近のITU-Rの勧告では、360度映像を高品質に撮ろうとすると30×15Kが必要だと言われています。
麻倉 30×15Kですか！ それがひとつの目標なんですよね。それはいつ頃実現できそうなのでしょう？
冨岡 もうちょっと先になるんじゃないでしょうか。次の目標の、さらに次の目標といったところです。
麻倉 8K×4Kくらいの解像度があれば、サッカーのフィールドのような画面内に明るい部分と暗い部分がある映像でも、より見やすい撮影が可能になりそうですね。
冨岡 おっしゃる通りです。360度撮影はひとつの応用ではありますが、このセンサーの特徴は、局所的に撮像モードを切り替えられるというところでもありますので、もっと色々な用途に展開していけると考えています。
麻倉 ブロック数を増やしていくと、当然処理能力も高くする必要があると思いますが、そのあたりはいかがでしょう？
冨岡 ブロックが細かくなると、それだけで処理内容が膨大になりますので、モード制御回路の制御はものすごく難しくなります。ここがひとつの課題ではあります。
センサーから出てきた信号をどう処理するかも重要で、どのタイミングで低照度モードに切り替えるか、あるいは高輝度モードにするかも結構クリティカルな問題で、そこを間違うときちんとした特性が出なかったりするので、うまく調整する必要があります。
またブロックの境界部分をどうするか、モードが切り替わった瞬間の動作をどうするかといったことも考えなくてはいけません。しきい値をどこに設定するか、シーンに応じてどういう判定をすればいいのかといったことはノウハウがありませんので、今後検証していかなくてはなりません。
麻倉 ひじょうに画期的な提案ですが、今後量産化に向けた問題点はあるんですか？
冨岡 先程申し上げましたが、画素構造が従来よりも複雑になっていますので、センサーとしての性能を維持しつつ画素を小さくしていくのが今後の課題になるでしょう。
●取材に対応いただいた方：日本放送協会 放送技術研究所 テレビ方式研究部 冨岡宏平さん
＜テーマ2＞イマーシブコンテンツ体験に向けたディスプレー技術
「伸縮可能なディスプレー」
ディスプレイ＝硬い素材というイメージが一般的だが、今回はその常識を覆す、伸縮可能なLEDディスプレイも展示され、来場者の関心を集めていた。柔軟なゴム基板を用い、各画素を伸縮配線で接続することで自由な形状に変化、ドーム型など様々な形を実現したり、ウェアラブルディスプレイとして持ち運ぶと言った応用も検討されているという。
麻倉 昨年の技研公開では「紙より薄い有機ELフィルム」も展示されていました。今回はいよいよ伸縮できるようになったのですね。
中田 今回はゴム基板とLEDを使った伸縮可能なディスプレイの研究になります。イメージとしては、こういったディスプレイがあれば、本当に包みこまれるような映像体験ができるのではないかということを目指しています。
麻倉 最近は音のイマーシブとして様々な方式が提案されていますが、絵のイマーシブはありませんからね。
中田 横方向に曲がるディスプレイはありますが、現状では球面は再現できません。プロジェクターでの球面表示もありますが、あちらは設置が大掛かりだったり、コントラストの点で難しいでしょう。
そこで、ゴム基材を使ったディスプレイがあったらいいだろうと考えたのです。基材が伸びることで、例えば地球儀のような球形も再現できるのではないかと考えています。
今回、基材にアクリル系のゴムを使って、その上に約20ミクロンのマイクロLEDの発光素子を配置してディスプレイを構成しました。画素数は32×32です。伸ばしても断線しない配線を使い、変形させながら動作できることを確認しています。
試作機では、40％ほど伸ばしても問題ありませんでしたし、実際に触っても柔らかく、ドーム形状に膨らますこともできます。耐久性もある程度確認しており、今回の技研公開前にも1週間ぐらい駆動しても大丈夫でした。
麻倉 現状はバッシブ駆動で色も一種類ですが、原理的にはアクティブ駆動でカラー表示にすることは可能ですか。
中田 近いうちにそういった成果をご覧いただけるように研究を進めているところです。
宮川 さきほどご覧頂いた試作シートはマイクロLEDを使ったタイプですが、もうひとつ0.8mmサイズのLEDを使ったものも作っています。画素数は16×16で解像度的には比較的粗いのですが、ウェアラブルなどの視認性は充分取れるのではないかと考えています。
麻倉 本当にぐにゃぐにゃしているんですね。マイクロLEDなら、同じ面積でも細かく並べられて、解像度も上がりますよということですね。
中田 高精細化は必要ですから、マイクロLEDを使って進めていこうと考えています。
宮川 マイクロLEDは20ミクロンですので、100ppiとか500ppiといった解像度も実現できるのではないでしょうか。既にRGBタイプのマイクロLEDも世の中にはありますので、そちらを使うという方法もあります。
麻倉 去年の極薄有機ELフィルムもびっくりしましたが、ディスプレイがこんなに柔らかくなるというのにも驚きました。将来のモバイル、ウェアラブルへの展開が本当に楽しみです。ここまでの完成度を持った、伸びるディスプレイは世界的にも珍しいんですか？
中田 伸張率が57％でドーム形状が作れます。それに近い伸張率40%を実現しているのは、他と比べても強みだと思います。
ゴム基材にLEDを挟み込む構造にすることで、折り曲げたり、引き伸ばしたりできるディスプレイを実現した
麻倉 1枚のパネルでドーム型のディスプレイを作れるということですか？
中田 そうです。計算上では伸張率が57％あれば、1枚のディスプレイを引き伸ばして半球状にすることができるという意味です。
麻倉 でも、引き伸ばすと画素の間隔が変わってしまいますが、そこで絵が歪んだりはしないんですか？
宮川 製品化する場合には、ある程度の伸張率を考えてLEDを配置するなど、どんな形で使うかを最初から設計に入れてシミュレーションし、画素の密度を決めておくことになるでしょう。
麻倉 電極も伸ばして大丈夫なんですか？
中田 普通のゴムは電気を通さない素材なんですが、伸びても電気を通せる材料を開発したのが、今回の一番のポイントになります。
麻倉 電気を通すゴムというものがあったんですね。知りませんでした。
中田 正確にはゴムのように伸びて、さらに電気を通す素材を開発しました。電気抵抗の変化がひじょうに少ないので、伸ばしてもLEDの輝度が変わらないという特長もあります。
宮川 この配線を細くするのが難しいので、現状では画素ピッチが広くなってしまいます。今まさに、そこをいかに細くするかの研究に取り組んでいますので、これが解決したらテレビと同じぐらいの精細感を得られるでしょう。
将来のドーム型ディスプレイのイメージモックを体験する麻倉さん
麻倉 それは、LEDの配線自体を細くするということですね。
中田 LEDタイプの試作機は配線が500ミクロンくらいですが、マイクロLED用は300ミクロンほどにできました。今後はこれをもっと細くしていきたいと考えているところです。
麻倉 最後に、今後の課題は何とお考えですか？
中田 やはりカラー化です。今回の展示でも多くの方からカラーにできないのというご質問をいただきました。
宮川 カラーになると一気に情報量が増えますので、将来的には4Kとか8Kの解像度も目指していきたいですね。
麻倉 平面テレビから立体感を得るには、視聴者のイマジネーションも必要です。しかし、ドームテレビなら自然な立体感、没入感を体験できるでしょう。20世紀は固定型テレビでしたが、21世紀は可変型テレビの時代になる、これは将来有望な技術です。
中田 ありがとうございます。2030年頃にウェアラブルやモバイル用途での実用化を目指します。ドーム型ディスプレイは、もう少し先になるでしょう。
●取材に対応いただいた方々：日本放送協会 放送技術研究所 新機能デバイス研究部
チーフ・リード 博士（工学） 中田 充さん（左）、博士（工学） 宮川幹司さん（右）
※後編へ続く
