ピアノ演奏に連動してキラキラ音符が舞い踊るAR演出システム。魔法だと信じて疑わないコメントも「本当は魔法だろ？知ってんだ俺」
今回紹介するのは、faithroomさんが投稿した『AR Piano – 魔女の宅急便より めぐる季節/やさしさに包まれたなら』という動画です。再生数は1万回を超え、「ニコニコ技術部」カテゴリランキングで最高で2位を記録しました。
投稿者メッセージ（動画説明文より）
ピアノ演奏にリアルタイム連動する AR 演出システムを作ってみました。
AR Piano powered by Unity & SmartAR
ピアノを演奏すると、あら不思議。音に合わせて、音符がキラキラと舞い上がります。
魔女の宅急便より「めぐる季節」の演奏は、ピアノの弦のような形の光で演出されます。打鍵した鍵盤に連動した箇所が光ります。
光は虹色にも変化します。
魔女の宅急便のエンディングテーマ曲「やさしさに包まれたなら」では演奏に合わせて音符がふわふわと舞い踊ります。演奏者の手から生みだされる音が可視化されたかのようです。
AR技術は「ポケモンGO」で使われ話題になりました。ポケモンGOでは現実世界にポケットモンスターがいるかのように見えますが、この動画ではあたかも現実世界に音符があふれているかのように見えます。
音データはキーボードからMIDIデータを取り込んでいます。キーボードに貼ってある人型のアイコンをSmartARで読み込み、ピアノの位置を計算し、映像を表示しています。
ちなみに、この映像を撮影するカメラもピアノ演奏に連動した移動式。レゴで作られているそうです。
視聴者コメント
美しい・・・
きれいだなあ
夢のある動画やなあ
本当は魔法だろ？知ってんだ俺
すごすぎワロタ
文／高橋ホイコ