近藤哲二郎さんが創設したI3（アイキューブド）研究所が、昨年秋にその活動を終了した。近藤さんはソニーの映像創製技術「DRC」を生み出した映像技術の専門家で、I3研究所設立後も、「ICC」や「ISVC」、さらに「動絵画」といった様々な高画質化技術を送り出してきた。しかもそれらは単純な映像信号処理ではなく、独自の発想に基づいて “人の脳に働きかける” 効果を持ったものだった。今回は、近藤さんと30年近い交流があったという麻倉さんが、これまでのI3研究所の歩みについてインタビューを行った。（StereoSound ONLINE編集部）
最後のインタビューを終えて記念写真。中央がI3研究所 会長の近藤哲二郎さんで、その左は代表取締役 社長の近岡志津男さん
麻倉 お久しぶりです。この度I3研究所が業務を終了するとお聞きしましたので、最後に近藤さんのお話をうかがいたいと思ってお邪魔しました。
近藤 こちらこそご無沙汰いたしました。麻倉さんにもすっかりお世話になり、ありがとうございました。
麻倉 私が近藤さんとお会いしたのは、ブラウン管テレビの時代でした。ソニーのハイビジョンテレビにアップコンバート技術としてDRC（DigitalReality Creation）が搭載された時に、取材をお願いしたのが最初だったと思います。
近藤さんはそこから今日に至るまでずっと映像の革新に携わってこられたわけで、この連載にも何回も登場いただきました。今日はその総決算として、I3研究所の技術について改めてお話いただきたいと思います。
近藤 貴重な機会をいただき、ありがとうございます。総決算ということで、弊社の目指してきたものをまとめた図を作ってみました。弊社としては、この図の右上にある北極星を目指してきました。そもそも技術の研究開発にゴールはありません。だから、何をしたら正解かはわからないんです。船で航行する時に北極星を見れば行くべき方向を示してくれる、そんなイメージです。
麻倉 なるほど、方向を指し示してくれるのが北極星だと。でもI3研究所では、常に5年か10年先を目指してきたという印象がありました。
近藤さんがまとめてくれた、I3研究所の技術開発の遷移
近藤 そうですね。技術開発では、20年〜30年先を目指して進めば、手前の問題はだいたい解決できます。何かを目指す時は、手前ばかり見ていては駄目で、遠くに目標を定めないといけません。
麻倉 しかし30年というと、かなり先のようにも思います。
近藤 実はそうでもないんです。標準（SD）テレビの時代に、次世代はハイビジョン（HD）にしましょうということが決まって、そこから規格が固まって製品になるまでに30年くらいかかりました。ということは、規格を作る時には30年後に市場がどうなっているかを想定しないといけないんです。
麻倉 確かに、実現した頃に規格自体が古くなっていては意味がない。次の世界をちゃんと見据えて考えなくては駄目だということですね。
近藤 私はソニー在籍時代の1996年に、解像度創造技術としてDRCを開発しました。その2年後にDRC-MF（Digital Reality Creation-Multi Function）を、さらに2002年にはDRC-MFv1に進化させました。その後DRC-MFv3まで続きました。
その後、2010年にI3研究所を開設します。そこからほぼ2年ごとに新しい技術を提案してきました。とはいえ最初に立てた30年目標と、その後の30年目標は視点が違うわけで、途中で方法も変換し、修正しています。
麻倉 なるほど、世界の変化に合わせて目標も修正し続けてきたと。
近藤 そもそもDRCという技術は、名前の通り “解像度創造” を目指していました。機械学習、今のAIと同じ手法を使っていたのです。ただし手法は同じでも、内容はまったく違う。そもそもデータベースを使うにしても、何をしたくて機械学習をするのかというポイントが違いました。
麻倉 今のAIは特定の目的ではなく、とにかく学習することが第一のようにも感じます。
DRCを初めて搭載したWEGAシリーズの「KW-32HDF9」は1997年7月に発売された。MUSEデコーダーを搭載したハイビジョンテレビでした
近藤 現在のAIの主な目的はマッチングです。写真を見て、エッジや距離、輝度、点の座標を解析して、データベースの中からマッチする画像を探してくるといった作業をしています。
例えば人物なら、左右の目と眉の間隔といったいくつかのポイントを測定し、データベースからそれに合う人物を見つけます。しかしこの方法では、データベースに入っていない情報についてはマッチング処理ができないんです。
そこでわれわれは、マッチングする相手がいない場合には機械学習で創る、ないものを創り出す技術としてDRCを開発したわけです。
麻倉 なるほど、 “解像度創造” というのはそういう意味でしたか。
近藤 機械学習を使っているという点が似ていますので、2008年頃に出てきた超解像と一緒だと思われていますが、これは心外なんですよ（笑）。
麻倉 では、DRCと超解像の違いはどこにあるのでしょう？
近藤 超解像は、例えば映像のエッジ情報があった時に、より綺麗なデータで置き換えるというやり方でした。既にあるデータの置き換え、つまりSDの延長だったわけです。でも30年後にはハイビジョンテレビが普通になっているはずだから、ハイビジョンならどんな映像が必要かを考えたのがDRCです。
麻倉 近藤さんは当時からSDをハイビジョンに創り変える技術だとおっしゃっていました。そこが超解像とは違う、一番のポイントだったんですね。
近藤 DRC-MFは、テレビにSD信号が入力された時に解像度を4倍に変換する技術でした。その中で、テキストとか料理の献立表のような映像は、プログレッシブで表示した方がいいだろうということになったんです。そこで480/60iで入力された信号は基本的には960/60iに変換し、テキスト映像の場合は480/60pで表示しようと考えました。スポーツなどの動きの早い映像用に480/120iも準備し、海外モデルに搭載しました。
麻倉 そこからDRC-MFv1への進化点は何だったのでしょう。
近藤 DRC-MFv1ではボリュウム軸を追加して、あらゆるコンテンツ、デバイスで最高画質を実現しようと考えました。どんな入力信号でも、またどんな表示デバイスでも最適な映像で楽しめるように、ユーザーに調整機能を開放しています。
麻倉 DRC-MFv1は、ユーザーに好評だったそうですね。
近藤 多くのモデルに採用され、注目されました。メニュー画面で「くっきり」「すっきり」という調整項目を覚えている方もいらっしゃるのではないでしょうか。
麻倉 「くっきり」「すっきり」ですか、懐かしいですね。
近藤 次にDRC-MFv2の開発に移ったのですが、ここから新しい発想を盛り込んでいきました。高画質というものは、単純なスペックで評価してはいけない、脳が安らがなくてはいけないということで、脳波を使った評価を採用しました。
ここでは、いい絵を見たら脳からα波が出てくるということを基準にしていました。脳の負荷を小さくして、高画質な映像を脳に届ける、α波を生み出すことがDRC-MFv2の狙いだったのです。
麻倉 脳の負担が少ない映像というのは、具体的にはどんな特徴があるのでしょう？
近藤 例えば映像のエッジを強調すると、α波が出ないということがわかっています。つまり「ダイナミック」モードのような映像は、脳にとっては一番よくないということです。
麻倉 オーバーシュートをつけて、輪郭を強調した人工的な映像は駄目だと。DRCも当初はハードウェア的、スペック的な高画質を追求していましたが、DRC-MFv2から脳、人体の世界に入ってきたわけですね。
近藤 この頃に北極星の位置を修正しました。それが次のDRC-MFv3です。ここでは、人間の脳では、 “認識” と “認知” が違うということを考え始めました。例えばテキストデータが一番綺麗に見えるのは二値画像です。
麻倉 ゼロかイチ、つまり白か黒かということですね。
近藤 おっしゃる通りです。二値画像であればエッジも暴れないし、ノイズもありませんから、綺麗な文字が表示できます。文字が文字として分かればいいわけで、パターン認識で理解できます。
それに対して自然画像は、エッジだけでなく階調も必要ですから、そう単純にはいきません。人物であれば、被写体が誰かといったことや特徴も理解しなくてはいけませんから、ここで認知が必要になるのです。
そこでDRC-MFv3では、人工物を表示する際の二値寄りの処理と、それ以外の処理といった具合に使い分けました。ただ残念ながら、完全に実現できないうちにソニーの組織がなくなってしまい、私も独立することになりました
ICCのデモ映像より
麻倉 なるほど、そこでI3研究所を立ち上げた。
近藤 ここから認知というテーマに取り組み、ICC（Integrated Cognitive Creation）の開発につながっていきました。
麻倉 ICCは、2Kから4Kへのアップコンバート技術でしたね。しかもICCを使った映像では奥行を感じることができました。
近藤 テレビは平面画像だから実際には奥行はないんですが、映像を見た時に、脳から遠くを見ているという補償情報が入ったら、奥行を感じることができます。
例えば桜の木の映像では、花びらの1番1枚が見えていると思います。しかし本当はそこまで細かく見えているわけではなく、脳でそう認知されているのです。ICCでは、この信号にこういった処理を加えれば、脳に奥行を感じてもらえるはずだという判断を行っています。
麻倉 ICC処理をしている映像では奥行を感じるけれど、処理をしていないとそうはいかないのですね。ICC処理自体は、エンハンス強調とかそういった単純なものではないのですね？
近藤 エンハンスは一切かけていません。脳が自然に感じるということは、階調が無限に存在しなくてはいけません。そこはアナログ的に描くしかないのです。カクカクした階調だったら奥行を感じることはありませんし、荒い階調で描写した映像では桜の花びらも細かく描けません。
麻倉 デモで木に登っている猿の映像も見せていただきましたが、2Kではぼけぼけなのに、ICCで4Kにアップコンバートすると、突然細かい情報まで見えてくるのに驚いたことを覚えています。
近藤 認知とは、以前学習したことと同じだと気づくことです。これに対し、認識とは初めて見たものが脳に定着する過程を指しているそうです。まず認識を行い、その記憶を元に脳が認知をするのですが、そのためには自然と同じように解像度・階調とも無限でなくてはけないわけで、ICCではそれを実現したのです。
麻倉 ICCは2011〜12年当時の技術としては画期的だし、独創的でしたね。しかも次のISVC（IntelligentSpectacle Vision Creation）では大型映像に対応しました。
近藤 ISVCは600〜650インチ画面を想定した技術で、テーマは “体感” でした。例えば富士山を見た時の神々しい体験は、脳科学の世界で言われている “Awe（オウ）体験” に相当します。Awe体験とは、大自然に対峙した時に人が自分の存在の小ささを感じる、驚きのようなものを示しています。
雄大な大自然を前にしたら人は謙虚な気持ちになるし、脳も活性化するといいます。Awe体験を経ると、ストレスが解消され、ポジティブシンキングになるというのも大事な効果です。
麻倉 なるほど。自然に近い映像を大きなスケールで見ることができれば、それがAwe体験につながり、快適な生活が送れるということですね。
近藤 大切なのは、映像を見た時に “情景” が浮かぶことです。情景とは記憶が蘇って、脳に映像が浮かぶ現象を指しています。そのためには未知の体験が脳に定着していないと駄目で、富士山のように神々しい、神秘的といった言葉で説明できないほどの体感であれば、Awe体験につながっていくのです。すると、小さな山を見ても富士山の雄大さを思い出して、ストレスを解消できる。これがディスプレイで実現できたらと考えています。
麻倉 近藤さんは、風景、光景は物理的に存在する世界で、情景になると脳の記憶に入ってくると以前からおっしゃっていました。その情景の記憶が人のライフタイルにまで影響を及ぼすのですね。
近藤 I3研究所は、そこを目指して活動してきました。現在のカメラで撮影した映像は画素が不可欠なので、結果として自然の価値、連続性を損なってしまいます。われわれが手掛けてきたアップコンバートやハイフレームレート、プログレッシブ変換といった技術は、撮影機材の性能が追いついていないからそれをなんとかしようとして生まれたもので、家電メーカーとしてはそこに需要があったわけです。
麻倉 それがソニー時代のDRCだったわけですね。
近藤 DRC-MFv3を開発している頃に、脳の負荷というものを考え始めました。当時は認知ができればそこがゴールだと考えてICCを作りましたが、その後に情景という発想を得て、脳内に情景を浮かばせるようなシステムを作らなくてはならないということになり、ISVCに行き着いたのです。
ICCで富士山の映像を表示したら確かに綺麗で奥行感は出るんだけど、迫力がないのです。しかし迫力を出そうとして画面を大きくすると、映像の連続性、階調が担保できないから、画素だけ目立つ荒い映像になってしまう。そこでISVCでは、映像の連続性、奥行まで感じてもらえるような処理を加えました。
麻倉 確かに奥行を感じられるかどうかで、大画面の価値は大きく変わってきます。
近藤 次にICSC（Interactive-CastSymbiosis Creation）を開発して、行動機能に対応しました。デモではハワイの映像を御覧いただきましたが、これは見る人の位置によって、映像の印象が変わるというものでした。
テレビは美術館ではありませんから、必ずしも同じ場所で見てもらえるとは限りません。そこで鎮座して見る映像から、行動しながら見る映像に変えていこうと考えたのです。鎮座して見る映像ならビューポイントがひとつしかないのですが、日常見る映像ではどのアングルからでも絵がちゃんと確認できて、脳に情報が届く事が必要です。
麻倉 脳にそのように感じさせるための処理をしているのですね。
近藤 距離によって脳からの補償内容が変わってくることがわかっていますので、それを脳に正しく伝えていけば、どの角度から見ても奥行を再現できます。ICSCでは、そのための処理を行っています。
スクリーン前のどこに立って映像を見るかで、印象が変わるというICSCのデモ
麻倉 ICSCの次には、I3C（Integrated Intelligent Interaction Creation）が発表されました。
近藤 I3CはICC、ISVC、ICSCの3つのコンセプトを統合した信号処理クリエーション技術で、2017年時点での弊社の集大成でした。このI3Cを経て、動絵画（Animated Painting）を発表しました。
麻倉 動絵画も本当に不思議な技術でした（笑）。
近藤 われわれを取り巻く社会環境というものがありますが、それは人が組織的な社会を形成した時に必要だったものです。一方で自然環境というものもあり、こちらは人間が生まれる前から存在している風景そのものです。ここでのルールは、遺伝子に記憶されているのではないかと考えました。
現代人は様々な社会環境に囲まれて生活していて、もともとの自然環境から乖離している、齟齬がでてきているのではないかと感じています。だから、色々なストレスもある。それを解消するためには、自然環境に近い場所に身を置いて、その中で生活するのが理想だと考えます。
そこでテレビがどんな役に立つかというと、情報認識にはとても有効です。では情報認識を通してできることとは何かと言ったら、ひとつはAwe体験を提供することによる安らぎの再現ではないでしょうか。
しかもそれが650インチでしか感じられないというものではなく、もっと小さな画面でも再現できる、27インチを4枚並べるだけでこの部屋が大自然になってしまう、動絵画はそんな技術を目指しました。
麻倉 動絵画のデモでは水槽の映像を見せていただきましたが、とても立体的な映像で、しかし近づいても画素が見えない、不思議な体験でした。
近藤 絵画は、筆で描くから画素がありません。なので、動絵画でもスキャンという概念をなくしています。だからこそ、自然に近い映像が再現できるのだと考えて下さい。
麻倉 走査線や画素といった、これまでのカメラやテレビで不可欠だったものが見えなくなるということですね。
近藤 正確には、それらを意識させない映像を描いています。
麻倉 動絵画では、撮影の段階から特別なカメラを使っているのですか？
近藤 いえ、ごく普通のカメラです。
麻倉 ということは、後処理が重要ですね。
近藤 そうです。最近の映像信号はデジタル変換するので、時間連続性を含めて色々な情報が失われています。そこで、入力信号を自然界の映像に修復しようというのがわれわれの考え方です。
麻倉 当初の動絵画は一枚の絵でそれを感じさせようというものでしたが、その後発表された動絵画IIでは、数台のテレビを並べて映像を再現した場合に、あたかも窓越しに大きな映像を見ているような感覚が得られるようになっていました。
近藤 動絵画IIでは、複数台のテレビで異なる視点からの映像を再生し、その間を脳で補間することで、大きな画面を見ているかのように感じてもらうことができました。海辺の映像でも、画面より手前まで砂浜が広がっている、そんな感覚を持ってもらうこともできたと思います。
麻倉 動絵画IIは本当に不思議な体験でした。でもあれだけの信号処理は、かなり難しかったのではないでしょうか。
近藤 動絵画IIは、何枚もの映像を並べて映像処理を行わなくてはいけないので、難しさも桁違いでした。しかもお互いの絵の関係性も考えなくてはいけませんでした。最終的にはかなり自然環境に近い映像が再現できたのではないかと思っています。
麻倉 そこがポイントですね。そもそも今のテレビ業界で、近藤さんのようなことをおっしゃっている人はいない。テレビというデバイスから離れて、社会の中でいかに映像を使っていくかに注力されていると感じています。
近藤 今の日本の問題は、そういったテーマを意識している競合他社が出てきてくれないことかもしれません。
3つのディスプレイで表示した富士山の映像が、あたかも窓越しに一枚の絵をみているかのように感じられるという「動絵画II」のデモ
麻倉 確かに、テレビはともかく、社会の中での映像の活用について具体的な研究開発を行っているメーカーはありません。今回I3研究所を終息するというのは、そういった点もあったのでしょうか？
近藤 残念ながら、日本国内でのテレビ事業、製造拠点というものがなくなってきました。映像に関連した技術開発も減っているのが現状です。もちろん、そういう中でもわれわれが目指している技術について、出来上がったら使ってみたいというメーカーはあるんですが……。
麻倉 一緒に作っていこうというほど積極的なメーカーはなくなったということですね。
近藤 残念ながら、そうなんです。
麻倉 これだけの技術を生み出してきたI3研究所という組織がなくなってしまうのは残念です。
近藤 われわれとしては、日本の産業をサポートしたいという思いがありました。ですので、そもそも国内でのテレビ製造がなくなったら、どうしようもないかなと思っています。
麻倉 今回近藤さんのお話を聞かせていただいて感じたのは、“自然”の重要性です。最近の映像は、解像度は上がって、画素も小さくなってきていますが、反自然的な、脳によくない映像を表示している製品が増えている気もします。
その意味でも、テレビを通して自然環境の中に身を置くことができ、しかも脳も活性化してくれる動絵画IIは、本当に素晴らしい技術だと思います。テレビユーザーみんながそれを享受するところまで普及できなかったのは本当に残念です。
近藤 I3研究所は終了しますが、これまで一緒に開発・研究を行ってきたメンバーは新しい場所で活動を続けていく予定です。機会があったらぜひサポートをお願いします。
麻倉 もちろんです。近藤さんが作られた技術が何らかの形で社会に広がっていくといいですよね。本当にお疲れ様でした。
