I3(アイキューブド)研究所が開発した映像クリエーション技術「動絵画」。解像度や階調といった一般的な超解像処理とは異なり、“動く絵画”で観る人の感動を喚起するというきわめてユニークな提案だ。
本連載ではこれまでも同社の技術についてたびたび報告してきたが、去る11月30日に、その実物に触れることができるイベント「動絵画展」が開催された。しかも今回は、映像に興味のある方ならだれでも参加できるという嬉しい内容だった。
そこでイベント当日、麻倉怜士さんと一緒に会場にお邪魔して改めて動絵画の詳細についてお話を聞いた。以下では、麻倉さんによるリポートをお届けする。(編集部)
「動絵画」(Animated Painting)という技術は、あまりに他の超解像技術から突出していて、なかなか理解できる人がいません。私はこの連載で繰り返しアイキューブド研究所の成果をリポートしており、会長である近藤哲二郎さんが考える天才的な画像処理についてずっとウォッチしてきています。
しかし近藤さんは技術の詳細についてはほとんど語ることがなく、どちらかというと映像への思い、映像哲学についての解説が中心なので、文字を通じて、どんな映像が再現できているのかを理解してもらうのは難しかったのです。
今回、アイキューブド研究所がこれまでの動絵画の成果を間近に確認できる「動絵画展」をライフコミュニティ西馬込で開催するということで、朝一番に会場に足を運んできました。
今回は招待者だけでなく、一般の人も会場で実物を体験できるということで、事前に申し込んで足を運んだ方も多くいらっしゃいました。同社が持つ技術を多くのオーディオビジュアルファンに体験してもらえたわけで、価値のある催しだったと思います。
マスコミや技術系、読者らしき人と、色々な来場者がいましたが、みんな異口同音に「これはどんな技術なのか?」「こんな凄いのは観たことない」という感想を口にしていました。そんな反応を見ていて、これまでリポートしてきたことについて、一部とはいえ読者の方々に共感してもらうことができて、私としても嬉しかったですね。
今回の展示は動絵画に関するもので、2019 年の技術発表から2021年までの3年間の進歩がわかる内容になっていました。私自身も、改めて動絵画がいかに映像を革新するかを目の当たりにして、感動しました。
具体的な内容を見ていくと、まず「漆黒」という展示がありました。これは、2019年に初めて動絵画が発表された時のもので、27インチのIPS液晶ディスプレイを使って、水槽の映像を再現したものです。3枚のディスプレイが並んでいますが、それぞれ光の明るさ、照明の当たり方が違っています。
改めて見直すと、水の透明感、背後の漆黒の中に熱帯魚が消えていくという微妙な階調再現、リアルな魚の動きがとても美しい。そして珊瑚などの斜めの輪郭でも、普通の液晶にあるようなギザギザ感がない。そんなリッチな表現力に驚きます。
IPS液晶ディスプレイは比較的安価なものを使っているそうで、解像度は4K、SDR方式です。それでもここまでの深い黒が再現できるとは、どういうことでしょう。また動絵画ではフレーム内処理をするだけではなく、複数のフレーム渡って滑らかな動きになるような処理も加えているということで、その成果にも感動しました。
目の前にガラスがなく、クリアーに海底の世界を観ているような錯覚を覚えるほどです。水槽の中の水の流れ、光と影のダイナミックな再現など、本当に美しい。動絵画処理がいかに優れているか、リアルを超えた光空間を再現できているかは必見です。
デジタル画像はドットで構成するけれど、絵画は筆で一気に描き上げる、その違いをデジタルの中で再現するのが動絵画だそうです。確かにこの映像には、なめらかなアナログ的な質感があるから不思議です。
続いての展示は「春光」で、こちらも2019年に発表されました。群馬県にある有名な一本桜を撮影した映像が65インチの4K/SDR/IPS液晶ディスプレイに再現されています。
近藤さんから聞いた話では、日本人は桜の花について多くの経験があって、記憶も強烈なのだそうです。特に花の色に関しては明確なイメージを持っているので、記憶色と違うとおかしいと感じる人も多いといいます。また花びらも小さいので、風にそよぐ場面でも動きがカクカクしただけで不自然に感じてしまいます。
しかし「春光」の映像は、桜の花が本当に目の前にあるようで、手前と中間部と向こうの微妙な色の差まできちんと判別できます。明るさの階調もしっかり再現しているので、奥行感も素晴らしい。手前に出てくる桜の枝と、奥にある枝との対比感、距離感の再現が秀逸です。平面ディスプレイなのに、どうしてこんなに立体感があるのか不思議です。
さらに不思議なことに、近づくと桜の花びら一枚一枚まできちんと描き分けられている。しかも薄い桃色の花びらが重なっていても、色の違いも描かれている。ディテイル情報がきちんとしているから、離れて見ると自然な立体感がでてくるのでしょう。
さらに正面から観た時と、右斜め、左斜めという視点の違いで再現される立体感にも違いがでてきます。右斜めから観ると手前の大ぶりの枝に当たった光が強く感じられ、奥にある枝はひっこんで感じられます。2次元でどうしてこんなことができるのか、本当にマジックです。
思うに、「漆黒」の開発時には観る人の位置や視点までは考えられていなかったのでしょう。しかし「春光」以降の動絵画では、人がどうやって映像を観るかという点まで踏まえて映像を再現しています。これも他の超解像とは大きく違うポイントですね。
次の「朝来」は2021年の最新映像です。新潟県の瓢湖水きん公園の白鳥を、横一列に並べた5枚の27インチ液晶ディスプレイで再現していますが、面白いことにこの5枚が窓になっていて、壁の向こうに湖が広がっているかのように感じます。
手前に湖があって、たくさんの白鳥や鴨が泳いでいる。さらに奥には山の稜線が観える……そんな風景を感じます。ディスプレイの間隔は離れているんだけど、それがあまり気にならず、連結しているかのような、滑らかなつながりがあります。
この「朝来」も近寄って観ると、ディテイル情報もちゃんとあって、白鳥たちの動き、餌を食べている様子などもわかります。ディテイルが豊富な映像を離れて観たらどう感じるか、どう再現できるのかという点にこそ、動絵画の新しい価値があるのかもしれませんね。パースとディテイルが高次元にバランスした映像、その可能性を「朝来」では感じました。
最後の「海原」は65インチの4K/SDRを3枚並べたものです。「朝来」と「海原」は動絵画II技術ということになっています。もともとの動絵画が1枚の映像をターゲットにしているのに対して、動絵画IIでは複数枚の映像でひとつの世界を描こうとしているのが一番の違いです。
千葉・勝浦近くの海岸の様子が再現されていますが、離れて観ると3枚の絵が密度高く結びついています。両脇に岩山があって、手前に砂浜が広がっていますが、打ち寄せる波のディテイル感もよく出ています。何より面白いのが、奥行再現を「朝来」以上に感じることです。ディスプレイのフレームの中に写っているものだけではなく、フレームの外まで世界が延長して観える、そんな広がりがあるのです。
これは私も忘れていたことなのですが、30年ほど前に、近藤さんが開発したDRC(デジタルリアリティクリエーション)のデモを見せてもらったことがありました。そこで私が、「ブラウン管の中の映像は頑張って綺麗になっているけれど、本来はブラウン管の外にまで映像が見えるくらいじゃないと駄目でしょう」と言ったらしいのです。
本人は忘れていたことを、近藤さんは30年以上かけて動絵画IIで実現したわけで、その真面目な姿勢には本当に感動しました。同時に私のアドバイスも的確だったということでしょう(笑)。
動絵画IIは、映像技術が新しい次元に達した証だと思いますが、今後はこれをいかにユーザーの身近なものに展開できるかが求められます。リアルさ、本物らしさという意味では突出していますから、まずは美術館などの公共の場で展開していって欲しいと思います。その次はぜひテレビに入れて欲しい。