本連載では、映像処理技術のリーディングカンパニーであるI3（アイキューブド）研究所について、その新提案を機会があるごとに紹介してきた。直近では2019年3月28日に紹介した「動絵画」がそれにあたる。あれから2年、同研究所の代表取締役会長・近藤哲二郎さんからさらに進歩した映像技術が完成したとの連絡があった。しかもコロナ時代を見据えた技術だという。さっそく麻倉怜士さんと一緒にI3研究所にお邪魔し、新技術の詳細を聞いた。（編集部）
※関連記事 → https://online.stereosound.co.jp/_ct/17259625
お話をうかがったI3（アイキューブド）研究所株式会社 代表取締役 会長の近藤哲二郎さん（左）。麻倉さんとはソニー時代から旧知の仲です
麻倉 お久しぶりです。前回お話を聞かせていただいてからもう2年過ぎてしまったのですね。今回また新しい技術を開発されたとのことで、ぜひ詳しく教えて下さい。
近藤 こちらこそご無沙汰いたしました。今回はコロナ時代を見据えた新しい映像技術「統合情景」が完成しましたので、お目にかけたいと思ってお声がけさせていただきました。
麻倉 それはありがとうございます。コロナ時代を見据えた映像技術というのは、いったいどんなものなのでしょう。
近藤 もともとわれわれは、1990年代にソニーで「DRC」（Digital Reality Creation）という、今のAIの先駆けのようなシステムを開発しました。ただ、DRCはテレビがすべてで、ブラウン管や薄型パネルでの表示が綺麗ならいいというものでした。
そこで2009年にI3研究所を創立して、2011年に「ICC」（Integrated Cognitive Creation）技術を発表しました。これは「生体映像処理」です。そもそも人間は、脳で映像を認知していて、それは無限解像度、無限階調、無限時間解像度です。ICCはその点に注目した技術でした。
麻倉 先日、ソニーがブラビアに搭載した「XRプロセッサー」（Cognitive Processor XR）で同じような提案を発表しましたね。
近藤 脳内での映像認知に注目したのはわれわれが初めてだと思いますよ（笑）。でも弊社ではそれで満足してはいけないと思っており、次を考えていました。
それが2013年の体感映像処理「ISVC」（Intelligent Spectacle Vision Creation）や2015年の行動映像処理「ICSC」（Interactive Cast Symbiosis Creation）です。
ISVCは雄大な構図に向けた映像創造処理で、空間に入り込んで自然の壮大さを体感できるものです。ICSCも大画面視聴に向けたもので、離れて見ても全体がクリアーで、かつ近づいて見ても細かい情報が認識できるように設計しています。
行動を誘発する映像は、奥行感がきちんと再現できていないと駄目です。加えて、近づいたらそれまで見えなかったものまでしっかり識別できる必要があります。
麻倉 あの大画面映像は印象的でした。富士山と湖の風景のどこを見てもフォーカスが合っているし、さらにハワイのビーチの映像でもその中に入り込んだような実在感がありました。
近藤 そこから2017年の情景映像処理「I3C」（アイキューブドシー、Integrated Intelligent Interaction Creation）につながっていきます。
自然界では、もの凄く綺麗な景色は、何年に一度しか見られません。だったらその何年に一度の映像を創ってしまおうというものです。1000年に一度しか見られないような景色、透き通った空気も映像でなら生み出せます。I3Cはそれを実現するものでした。
麻倉 そこから「動絵画」（Animated Painting）に進んだ時は驚きました。デジタルを超える「新アナログ技法」で画素という制約のない映像を再現する。未だに原理がよくわかりませんが、あの映像も画期的でした。
近藤 ありがとうございます。ちょうどI3研究所を設立して10年目でした。あそこから弊社としての第二創業に入ったのです。
技術というものは、まずは世界初のものを作り、次は自分自身でそれを壊していくことで進化します。何かが生まれ、それが成熟して普通になった時に、それとはまったく違うものが現れて次の時代を創るのです。
I3研究所としては、機械学習から始まって、10年かけて情景フィードバック、情景を感じるというところまでやってきました。そうした時にコロナ禍という事態になってしまい、大自然の前では人は無力なんだと痛感しました。そこで、これまでの “人” を中心にした映像処理から、 “自然” を中心にしたものに変えていこうということを決めたのです。
麻倉 それはまた大胆な発想の転換ですね。それにしても、自然を中心にした映像技術といってもなかなかピンときません。
近藤 まず、部屋中心の映像にしようと考えました。美術館なら美術館の佇まいがあって、展示室があって、窓から自然光が入ってくる。その光空間とマッチする映像を再現しようということです。これまではテレビという機械を通して人が映像を認識していましたが、次は空間・部屋の中で映像をどう見せるかをテーマにしました。
映像を通して太陽や大自然に近づく……
近藤 ではそろそろ、「統合情景」のデモをご覧下さい。前回の「動絵画」では、同じ被写体映像でも照明などの光の表現を変化させられる様子をご覧いただきました。水槽の映像で、動かない石などは絵画として固定し、魚や泡などはきちんと動いているというところを再現していました。
その中で一番難しかったのが黒の表現です。スペックの限られた普通の液晶テレビでも、見ている人がきちんと黒だと感じてくれるように作るのが難しかったのです。きちんとした黒が再現できると、映像表現も変わってきます。例えば青い魚が黒い闇に消えていくと、平面の画面でも、もの凄い奥行を感じてくれるのです。
麻倉 確かに「動絵画」は不思議なほど立体感のある映像でした。では、それを超える「統合情景」の映像はどういうものなのでしょう？
近藤 これまではまず風景、被写体があって、それを身近に持ってくるためにカメラやテレビを使い、それを通して脳が映像空間を感じ取れるのが一番いいと考えられてきました。
でも弊社ではそれでは伝えきれないものがあると考えて、映像が脳や体に与える効果を含めて研究を進めてきました。しかしさらに進んで考えると、本当の価値は太陽や大自然にあるのです。その価値に近づいていくのが、I3研究所第二創業のテーマなのです。
麻倉 映像を通して太陽や大自然に近づく……。これもまた実に壮大なテーマです。
近藤 まずは550インチスクリーンにて「統合情景」の効果をご覧下さい。4K映像をそのまま投写した場合と、「統合情景」処理を加えたものを見比べていただきます。
I3研究所に設置された550インチスクリーンで、「統合情景」のデモを拝見。スポーツ中継の映像に「統合情景」処理を加えることで、まさに現場で見ているかのような迫力を体験できました
麻倉 4Kに比べて、「統合情景」処理を加えた映像は精細度がまったく違います。
近藤 これは過去のオリンピックの映像ですが、スタジアムの二階席の観客は、4Kでは同じ場所に座っているように見えますが、「統合情景」処理を加えるとちゃんと一列目と三列目といった具合に、奥行を持って座っていることが分かります。
また映像に近づくと、自分がグラウンドの中に入っているように感じることも出来るはずです。オリンピックは客席に色々な国の人がいるからわくわくするわけで、ぼけた映像でディテイルがわからなかったら楽しさも半減してしまいます。
麻倉 「統合情景」は、これまでの技術がすべて入った上で、さらに自然な映像が再現できるような処理を加えているということですね。
近藤 さらにこの技術を使えば、本当の会場でも見ることが出来ないようなフィールド席も体感してもらえます。例えば体操の審判員席からの映像に「統合情景」処理を加えることで、カメラの下に座っているかのような体験ができるのです。
麻倉 跳馬の映像を見せていただきましたが、これはダイナミックですね。近づいてくる選手の躍動感や迫力が、もともとの4Kと「統合情景」処理を加えた映像では段違いです。カメラは一番いいポジションに置かれるわけですから、そこからの映像をこれほど生々しく、その場で見ているようにリアルに体験できるのは凄い。
写真左が I3研究所株式会社 代表取締役 社長の近岡志津男さん。今回は、「統合情景」のデモと解説を担当していただきました
近藤 「統合情景」では座席による見え方の違いも体験いただけます。先ほどはスタジアムの低い位置をから競技の様子をごらんいただきましたが、次は二階席をイメージした2mほどの足場と、ひとつ上の階から見た映像（編注：I3研究所の550インチスクリーンは吹き抜けフロアーにセットされています）を確認してください。
麻倉 おっしゃっていることが分かる気がします。フィールドを引きで捉えた映像を二階席から俯瞰すると、ちょっと客観的になって冷静にスポーツを見てしまいます。しかし上のフロアーから見ると、映像に映っている他の観客と一緒に “観戦” しているかのように感じました。
ただしどちらの場合でも「統合情景」処理を加えていないと駄目で、ただの4Kコンテンツでは映像がぼやけてしまうので、スポーツに没入できませんでした。
近藤 「統合情景」処理を加えた映像では、このようにひとつのスクリーンでも見る位置を変えることで様々な視聴体験ができます。これをオリンピック観覧などで活かしてもらいたいと考えているのです。
麻倉 実際にスタジアムに行ってもひとつの視点からしか楽しめないわけですが、「統合情景」の映像ならもっと多くの楽しみ方ができます。これは単なるパブリックビューイングとも違う体験ですね。
“分配と統合”というふたつの技術を使う
近藤 さて「統合情景」のもうひとつの特長も体験していただきたいと思います。
この部屋では3台の65インチ液晶テレビに、3台のカメラで写した富士山の映像をそれぞれ再生しています。テレビの間には空間がありますが、見ていると富士山の裾野がつながってひとつの映像のように見えてきませんか？
「統合情景」のもうひとつの役割として、複数の画面に写した映像をひとつの大画面で見ているかのように感じさせるというものがある。今回は3台の65インチ液晶テレビでデモしていただいた
麻倉 確かにこの映像の一体感、連続感は面白いですね。テレビに写っている映像は離れているのに、じっと見ているとそれがつながっているかのように思えてきます。先ほどのスクリーン映像とは逆のアプローチです。
近藤 「統合情景」では、2種類の表現を研究しています。ひとつは先ほどのスクリーンのように、同じ映像を異なる視点で楽しむというもの。もうひとつは異なる視点からの映像をひとつにまとめるというものです。 “分配と統合” というふたつの技術を使うことで、空間に応じた映像を自由に創り出すことができるのです。
麻倉 それにしても、同じ技術なのに、使い方で映像の見え方ががらっと変わることに驚きました。
近藤 それは、映像の向こうに価値があるからです。オリンピックなり、風景のそもそもの価値をこれまでの映像技術では再現できていなかった。しかし今後は、映像の向こうにある “自然価値” を活かさなくてはなりません。
麻倉 なるほど、それがコロナ時代の映像再生につながっていくのですね。オリンピックのパブリックビューイングや放送で「統合情景」技術を活用してもらいたいものです。
近藤 オリンピック開催国である日本が、コロナ禍という環境下でそのイベントをどう活かすかは重要です。ぜひ「統合情景」を使った上映システムをオリンピック会場の近くに作って欲しい。そこに行けば、密を避けながら、でも様々な視点の映像が楽しめるし、選手とも空間的につながった体験ができます。今回は、そんな可能性を感じる技術ができたと思っています。
