NHKでは6月30日（水）まで「技研公開2021オンライン」を開催している。「技研公開」は東京・砧のNHK放送技術研究所で毎年開催される最新技術発表の場として、ファンも多いイベントだ。今年はコロナ禍の影響もあり、実際の展示やイベントではなく、オンラインのみでの発表となった。その内容もオーディオビジュアルファンには興味深いものが多く並んでおり、オンライン公開であっても一見の価値があるものばかりだ。
だがオンライン発表では気になった点について質問をすることもなかなかできない。今回、「担当者がどんな思いでその技術を研究しているかを、直接聞きたい」という麻倉さんの意向を受け、NHKに取材をお願したところ対応いただけることになった。以下で麻倉さんが注目したテーマと、それに関するインタビューを紹介しよう。（編集部）
＜テーマ1＞ 高精細な光線再生型3次元映像システム
技研公開のオンラインサイトで紹介されている、アクティナビジョンの解説
2018年に「アクティナビジョン（ラテン語で『光線』の意）」の名称で初公開された裸眼3Dだ。当時はSD解像度だったが、3年後の今回は解像度が向上。元画像は水平960×垂直540画素だが、画素を斜め方向に半分ずらした映像をさらに時分割で画像処理し、再生は8K×2、4K×4の合計6台のプロジェクター投写にて、HD解像度相当まで向上した。画面の大きさは21.5インチ。
現場で実際にチェックしたところ、まだまだ画像密度は粗いが、奥行感や人物の頬の立体感はよく出ていた。水平視野角が30度と広いのは、24台のカメラから内挿によって384視点を生成しているからだ。2040年代の実用普及が目標だ。（麻倉）
麻倉 技研公開では長年3D立体映像の展示がなされています。今年の展示はどんな内容なのでしょうか。
大村 こちらは「光線再生型3次元映像表示装置」で、複数人でご覧いただける立体表示になります。前回の2019年の技研公開ではインテグラル方式の展示でしたので、このディスプレイ自体は今回が初の展示になります。
麻倉 2018年にSDクォリティのシステムが展示されていましたが、今回は高解像度化したのが一番の進化点ということですか？
大村 はい、画素ずらしの方式を使って解像度を上げているのが、今回の技術面での一番のポイントになります。細かく言いますと、時分割技術を使って、時間方向で光線を多重していく方法を採用しています。そこでは2種類の時分割技術を適応していて、ひとつは解像度を上げるため、もうひとつは光線の密度を上げるために用いています。
麻倉 時分割というと、どれくらいのフレームレートなのでしょう？
大村 プロジェクターが120pですので、これを4分割して30p相当の映像として再現しています。
麻倉 最初の120分の1秒で解像度情報、次に光線の密度向上といった順番で4枚の絵を再現するという理解でいいでしょうか？
大村 はい、その通りです。
アクティナビジョンの映像を確認する麻倉さん
麻倉 今回の映像は30pなので、動きのある部分でフリッカーが見えることもありますが、これはプロジェクターのフレームレートが増えれば解消するということですね。では、具体的な投写の仕組はどうなっているのでしょう？
大村 24台のカメラで撮影した映像から、生成技術を使って384視点の映像を創り出します。この384枚の映像を6つに分けて並べて、それを6台のプロジェクターで投写、スクリーン上で重畳することで立体として認識できるのです。
麻倉 今回の再生機では4Kプロジェクターを使っているのですか？
大村 8Kのプロジェクターを2台と4Kプロジェクターを4台使っています。
麻倉 多くの視点から撮った映像を合成することで、立体的に見えてくるということですね。発想自体はインテグラル方式と同じような気もしますが、どこが違うのでしょう？
大村 インテグラル方式とは、再生している画像そのものが違います。インテグラル方式の場合は2次元で見たらおかしな画像になってしまうのですが、アクティナビジョンの場合は2次元で観ても、異なる角度から撮影した普通の映像として認識できます。
イメージとしては、インテグラル方式は画像自体に多視点の映像を重畳していて、アクティナビジョンは違う角度の複数映像を投写してスクリーン上で重畳すると考えてください。
アクティナビジョンディスプレイの背面。写真下部にプロジェクターが内蔵されており、ここで投写した映像をプリズムとレンズを使って重畳し、本体前方のスクリーンに背面投写する仕組だ
麻倉 なるほど、映像処理で重畳した画像を作るのか、スクリーン上で実際に重畳するのかという違いですね。ということは、再生機器としてはインテグラル方式の方がシンプルにできるのですね。
大村 確かにインテグラル方式の方が投写機の機構は簡単ですね。アクティナビジョンはレンズの設計が難しいのです。それぞれメリット、デメリットはありますが、アクティナビジョンの方が高解像度化はしやすいと思います。
麻倉 インテグラル方式ではフルHD解像度を実現できていませんからね。この技術は2040年代の実用化を目指しているのですか？
大村 2040年代に、今のリビングのテレビを置き換えることを目指しています。インテグラル方式はもう少しパーソナルな視聴向けで2030年代の実用化が目標です。
麻倉 立体映像を複線の路線で攻めるわけですね。でもアクティナビジョンも2018年からの研究スタートで、もうHD解像度総統の映像が実現できているのだから、期待が持てますね。HD化が2年で実現できたなら、4K化も早そうです（笑）。
大村 4Kはなかなか簡単にはいきませんね。しかし綺麗な3D映像を再現出来るのがアクティナビジョンのメリットですから、頑張りたいと思います。
アクティナビジョンの撮影用カメラの前に立つ麻倉さん。写真手前のアングルに24台のカラーカメラが取り付けられており、中央後ろのカラー・デプスカメラとの合計25台で奥行を持った映像を撮影している
加納 続いて先ほどご覧いただいた立体映像の撮影方法についてご説明します。構成は映像を記録するカラーカメラが24台と、カラーと奥行の情報を記録するカラー・デプスカメラが1台です。カラー・デプスカメラの前にはレンズアレイを置いて視点を4分割することで奥行を判別しています。
麻倉 この25台のカメラで撮影したデータが元素材になるわけですね。
加納 この情報を元に384視点の映像を創り出します。24台のカラーカメラの間の映像を内挿して、隙間を埋めていくというイメージです。
麻倉 将来的にはこれが現行のテレビカメラのような形になるんでしょうか？
加納 1台にすべて収めるというわけにはいきませんが、後々はカメラの台数を減らしていけると思います。
麻倉 被写体は24台のカメラの前に立って演技をすればいいんですね。カラーカメラ自体は特別なものなのでしょうか？
加納 デプス用のカラーカメラは特殊な仕様になりますが、他は普通のカメラで、解像度は2Kと4Kの間になります。
麻倉 ここの解像度を増やすと、立体映像の解像度もさらに細かくできるのですか？
加納 映像の共通領域を使って内挿映像を生成しますので、2Kの立体映像を創り出すためには、ここのカメラの解像度が2Kだと足りないのです。もちろん4Kになれば、画角的に余裕が出てきますので有利です。
麻倉さんを撮影した映像を、立体表示用に多視点化してもらった。既にリアルタイムで処理ができている
麻倉 今後はもっとカメラを増やして、多視点化するのですか？
加納 カメラの台数は、実用化に向けて減らしていきたいと考えています。ただし、カメラを増やせば画像の品質は上がりますので、そこのバランスをどう考えるかだと思っています。
麻倉 24＋1台のカメラの映像から384枚の映像を創り出すのもたいへんだと思いますが、4K化したら画像生成の処理時間も増えるんじゃありませんか？
加納 今より負荷は大きくなりますが、コンピューターの進化も早いので、それほど大きな問題にはならないと思います。
麻倉 最終的な目標は8K撮影ですね？
加納 そこまではなかなか……。まずはフルHDがひとつの区切りで、次の目標はこれから検討していきます。
麻倉 でも8K放送は既に始まっていますし、ユーザーは8Kの立体映像を期待していますよ。
加納 解像度も重要ですが、人間が立体映像を見る時にどれくらいの解像度が最適なのかについては、改めて評価実験をする必要があると思っています。
麻倉 そもそも8Kなら2次元の映像であっても奥行が感じられることが多々あります。そこに今回の技術を加えたらどんな風に見えるのかも興味深い。
大村 そうですね。その点についてはわれわれも未知の領域ですが、とても興味深いテーマだと思います。
麻倉 最終的には8Kクォリティが目標でしょうから、ぜひ頑張ってください。
●取材に対応いただいた方々
日本放送協会 放送技術研究所 空間表現メディア研究部の大村拓也さん（左）と加納正規さん（右）
＜テーマ2＞ コンピュテーショナルフォトグラフィー
技研公開のオンラインサイトで紹介されている、コンピュテーショナルフォトグラフィーの解説
一台のカメラで1視点の3Dを撮るのが「コンピュテーショナルフォトグラフィー」だ。コンピューターで画像処理した写真という意味で、撮った後からピント位置の変更、ぶれやぼやけの除去、部分的な超解像……などが可能なデジタル技術だ。いま世界的に研究開発が盛んだが、技研の目標は3次元カメラだ。（麻倉）
麻倉 この展示も、オンラインでみてとても興味を持ちました。撮影した画像のピントを後から変更できるというのが面白い。いつ頃からこういった研究を始めたのですか？
室井 2017年頃から議論を始め、2019年に具体的に研究をスタートしました。その後、色々なところで同様の研究が始まっています。
麻倉 この方式で撮影しておけば、画像処理を行うことで後からピント送りが自由にできるのですよね。それをどのように放送に応用するのでしょう？
室井 表示方法をどうするかという問題はありますが、元データを3次元で撮っているので、立体表示に持っていきたいというのが一番大きな目標です。
ホログラムなので、プリズムを使って干渉縞を作ってそれを撮影するという、光学系としては比較的単純な構造になります。ただ、撮像素子にはsCMOSという特殊なイメージセンサーを使って撮影しています。
実際の撮影の様子。今回はグリーンのLED照明で、奥行を持った画像を撮影していた
麻倉 撮影しているのはいわゆる干渉縞で、それを元に後処理で画像を再現するわけですね。これまでの方式では照明にレーザー光を使っていましたが、今回は違います。
室井 はい、今回の展示は照明が普通のLED照明、インコヒーレント光（広い波長範囲が混合し、進む方向もまちまちな光＝自然光）でいいという点がメリットです。
麻倉 干渉縞を撮影するのであれば、同じ波長が集まった、いわゆるコヒーレントなレーザー光の方が有利なわけですが、今回は敢えてインコヒーレントな照明でいいというのがポイントですね。
室井 人間を撮影する場合にレーザーは使えませんから、どうしても自然光に近い照明で撮影できるシステムが必要になってくると思います。光学系自体は、レーザーでも自然光でも変わりはありませんが、インコヒーレント光の場合は10マイクロメートル以下の精度で光学系を合わせ込んでいかないと干渉縞の撮影ができませんので、そこが難しいですね。
麻倉 映像を再現する仕組はどうなっているのでしょう？
室井 位相を変えて撮影した4枚の干渉縞画像を処理し、1枚の画像を作り出します。4枚の絵から振幅情報と位相情報を計算しますが、その複素振幅ホログラム画像は3次元情報を持っていますので、処理ソフト上でレンズからの距離を入力すれば、そこにフォーカスが合うように画像を再構築できるというわけです。
内部構造は、写真上側にプリズムやレンズの光学系、手前中央にイメージセンサーを配置した、比較的シンプルなつくりでいいのだとのこと
麻倉 オンライン展示で、自由にピントを調整できるサイトがありましたが、そういう仕組だったんですね。将来的には光学系をコンパクトにして、普通のカメラサイズにしようということでしょうか？
室井 小型化ももちろんですし、動画も撮影できるようにしたいと考えています。
麻倉 干渉縞を撮影するのならモノクロでいいのでしょうが、製品化するとなるとカラー映像でないといけません。
室井 現在は波長フィルターが緑なのでモノクロで撮影していますが、カラーフィルターを使えれば、カラーでの撮影もできると思っています。
麻倉 今後の開発テーマはどこですか？
室井 まずはノイズを減らしたいですね。それによって動画への応用も可能になるでしょう。また今は4枚の画像を別々に撮っていますが、これを一括で撮影する方法も開発したいと思います。
麻倉 動画化、カラー化、カメラのコンパクト化など今後の進展が楽しみです。ぜひ一体型の3Dカメラ実現を期待しています。
●取材に対応いただいた方
日本放送協会 放送技術研究所 新機能デバイス研究部 主任研究員 博士（工学）の室井哲彦さん
後篇はこちら
※技研公開2021オンラインは６月末までの公開です ↓ ↓
