ソニーCSL(コンピュータサイエンス研究所)は、10月下旬に同社設立30週年を記念した「OPEN HOUSE 2018」を開催した。

 ソニーCSLは、新たな研究領域や研究パラダイム、新技術や新事業を創出し、人類・社会に貢献することを目的に設立された。一番のテーマは「人類の未来のための研究」を行なうことで、システムバイオテクノロジーから経済物理学、エネルギー、医療、人間の能力研究と扱う内容も幅広い。

 実際にOPEN HOUSEでも41の研究テーマに関する成果が展示されており、いずれも興味深い内容が並んでいた。ここではその中から、オーディオビジュアルに関連した研究テーマをピックアップして紹介しよう。

ピアニストの指使いを、グローブで追体験

画像: ピアニストの指使いを、グローブで追体験
画像: 上のピアノを演奏すると、演奏者の細かい情報がデータとして蓄積される。その情報を下の写真のように解析したり、専用グローブで追体験できる

上のピアノを演奏すると、演奏者の細かい情報がデータとして蓄積される。その情報を下の写真のように解析したり、専用グローブで追体験できる

 ピアニストなどの音楽家は、幼少時から厳しい練習を積み重ねてその技術を会得している。しかしその練習方法は経験論に基づいたもので、思い描いた表現ができなかったり、トラブルに苦しんだりといった問題は今でも避けられないという。

 音楽演奏科学センターでは、そんな問題を解決するためにプロの演奏をデータ化して取り込み、それを追体験する研究を進めている。具体的にはプロの演奏家(先生)に曲を演奏してもらい、その際の指の動かし方や早さ、筋肉の力の入り具合などを分析するというものだ。

 さらにそれらの情報をフィードバックすることで、グローブを付けている人(生徒)がプロの動きを体験できることになる。これにより、従来は漠然としたイメージでしか伝えられなかった演奏のニュアンスが具体的な動きとして認識でき、生徒側の理解も早まるだろうとの話だった。

常に変換する音楽を、歩きながら聴く

 「空間を飾る音楽」というテーマの展示では、これまでのステレオ試聴を超えるインタラクティブな聴き方を提案していた。

 これは、音楽再生についてほとんどがステレオ試聴を前提にプロデュースされているのに対し、バーチャルな音源を制御することで音楽が持つ「時間」を「空間」の中で楽しんでもらうという狙いという。

 言葉にするとかなりわかりにくいが、会場では15畳ほどのスペースに6つの音源(指向性のあるスピーカー)を配置し、それぞれに異なる楽器の音を受け持たせている。その中を位置センサーの付いたヘッドホンを装着して歩き回ると、各音源からの距離に応じて音の大きさやリズムパターンが変化し、同じ曲とは思えないような聴こえ方になっていた。

 もちろんすべての音楽でこのような体験ができるわけではなく、今回も専用に作曲されたフランソワ・デュ・ボワ氏の「Le Chemin de Zhang Sangfeng」というシンフォニーが使われていた。

 このアイデアは、街中や公園などのオープンスペースで多くの人に体験してもらうものとのことだが、音楽として最初から仕上げられた2chやサラウンドソースとは違い、自分で感じ方を選択できる(場所を移動することで)音楽として、ユニークな体験になるだろう。

画像: 部屋の中を歩き回るだけで、聴こえてくる音楽のニュアンスが変化する

部屋の中を歩き回るだけで、聴こえてくる音楽のニュアンスが変化する

周辺視野を拡大することで、映像への集中を高める

 「ExtVision」と題した発表も、大画面派にはなかなか興味ぶかいものだった。これは日本語では「深層学習を利用した周辺視野映像合成による視覚体験の拡張」となるそうで、要は人間の目の中心視野だけでなく周辺視野に対しても映像を提示して視野を埋め尽くすことで、没入感や臨場感、迫力がさらに高まる点に着目したテーマだという。

 といっても中心視野にある映像とまったく関連性のない映像を投写しても邪魔になるだけで、ある程度の関連性は必要だ。これまではそういった周辺視野用の映像を用意することが難しかったそうだ。

 今回は、DCGAN(Deep Convolutional Generative Adversarial Network)という画像生成システムをベースにした手法により、中央のスクリーンに投写した映像からその外側の風景を予測生成し、周辺視野映像として補完・上映していた。

 実際のデモでは、中央のスクリーンに目的の映像を写しつつ、その周りには邪魔にならないけれどイメージの揃った映像が再現されており、なんとなくスクリーンも大きくなったように感じられた。厳密な映画鑑賞には難しいかもしれないが、多人数でライブを観るといった使い方には向いているかもしれない。

画像: 中央のライブ映像を元に、DCGANシステムが作り出した周辺視野映像を補完して上映。これにより、周囲の余計な情報が気にならなくなる効果が期待できる

中央のライブ映像を元に、DCGANシステムが作り出した周辺視野映像を補完して上映。これにより、周囲の余計な情報が気にならなくなる効果が期待できる

This article is a sponsored article by
''.