ソニーCSL(コンピュータサイエンス研究所)が、10月下旬に開催した「OPEN HOUSE 2018」会場で見つけた、オーディオビジュアルに関連した研究テーマを続いて紹介しよう。

機械学習を用いた音楽制作活動が既に始まっている

画像: Flow Machines Composerが作曲した音楽を試聴する麻倉さんを発見

Flow Machines Composerが作曲した音楽を試聴する麻倉さんを発見

 OPEN HOUSE 2018の会場で、麻倉怜士さんを発見。麻倉さんが興味深そうに試聴していたのが、「機械学習を用いた音楽制作活動」の展示だった。これは2012年から研究開発が進められてきた作曲を補助するツールで、既に商用音楽制作への適応を検証する段階に入っているそうだ。

 「Flow Machines Composer」と名付けられたこのツールは、アーティストがコンセプトを指示すると、その要望を解析して曲のモチーフを複数生成してくれる。アーティストはその中からいいモチーフを選んで編曲することでひとつの曲(MIDI音源)が出来上がる仕組だ。

 その後は通常の商用音楽制作と同じで、MIDI音源を元にアーティストが演奏したり、ヴォーカルを吹き込むことで音楽として完成する。既にソニーミュージックのアーティストとのコラボレーションで、J-POPの楽曲を作成しているという。

 といっても現状では曲の元となるコンセプトは漠然としたもので、モチーフをどの順番で演奏するかなどの編曲は人間が作業しなくてはならない。しかし将来は、人間はAIが作った曲を演奏するだけ、なんて時代が来ないとも限らない。

画像: こちらのサイトにアクセスすると、Flow Machines Composerの紹介ページをチェックできます

こちらのサイトにアクセスすると、Flow Machines Composerの紹介ページをチェックできます

スポットライトから木漏れ日まで、どんな光でも再現

 「INTEGRAL ILLUMINATION」は、ひとつのライトで多彩な光源の照明効果を模倣できる照明装置だ。バックライト(LED光源)の前に裸眼3Dディスプレイなどに使われている光学技術を組み合わせ、そこで光の強さや進む方向を制御することでスポットライトからシャンデリア、木漏れ日などの光をシミュレーションできる。

 応用例としては、天井にこのライトを敷き詰め、必要に応じてオフィス風やリビング用などの様々な明るさを選べるようにしたり、街灯に応用してお祭りの日には普段より明るくするといった使い方もできるそうだ。

 今回の展示は手作りの試作品とのことでバックライトがかなり大型で、エリア駆動等も行なっていなかったが、それらを搭載していけばもっと細かい制御も可能になるだろう。照度だけでなく、色温度も調整できるようになればリビングシアターの照明としても理想的なわけで、そういった展開にも期待したい。

画像: INTEGRAL ILLUMINATIONの試作機。今回は明るさを追求したため、LEDの冷却ファンなどもかなり大きめ

INTEGRAL ILLUMINATIONの試作機。今回は明るさを追求したため、LEDの冷却ファンなどもかなり大きめ

画像: 3Dディスプレイ等で光学デバイス。光を遮る液晶パネルの前に光学レンズを装着している

3Dディスプレイ等で光学デバイス。光を遮る液晶パネルの前に光学レンズを装着している

究極のVR体験ができるプロジェクター?

画像: 額の位置に取り付けられたプロジェクターが、視野いっぱいの映像を投写する

額の位置に取り付けられたプロジェクターが、視野いっぱいの映像を投写する

 こちらは「視覚へ作用する装着型プロジェクター」の展示。広角変換レンズ、小型レーザープロジェクター、ヘッドフォン、ヘッドトラッキング装置がフルフェイス風のヘルメットに組み込まれている。

 リアルタイム映像補正機能を内蔵しており、ユーザーの視点から対角線上で最大131度の広視覚映像を投影してくれる。つまりこれを装着すると、視野いっぱいの投写映像を楽しめるわけだ。さらにトラッキング機能によってユーザーが向いている方向に合わせて映像を変化させてくれるので、まさに究極のVR体験もできることだろう。

画像: 脳科学者の茂木健一郎氏もソニーCSLの研究員で、「意識が脳内の神経活動からどのように生まれてくるのか」を研究しているそうだ。会場では茂木さんに質問する来場者も多数見受けられた

脳科学者の茂木健一郎氏もソニーCSLの研究員で、「意識が脳内の神経活動からどのように生まれてくるのか」を研究しているそうだ。会場では茂木さんに質問する来場者も多数見受けられた

This article is a sponsored article by
''.