UFEX003 Unframe Exhibition アンフレームエキシビジョン で re-n-da-n 連弾 という作品を展示しました。 最寄り駅からやや遠い会場で申し訳ありませんでした。ご来場いただいた方々はもちろん、行こうとしてくださった方もありがとうございました。

僕は今回、一曲のピアノ曲を複数人で演奏する「連弾」を ピアノが弾けない人でも気軽に行えるようにするためのものを制作しました。

re-n-da-n は 4 台のピアノ・キーボードを用いてセッションを行う作品・システムです。 セッションにピアノが弾けない・譜面が読めない方でも参加できるように 、 MIDI・ピアノロール・プロジェクションマッピングで拡張現実を行いました。

青・赤・黄色・緑の 4 色はそれぞれソプラノ・アルト・テノール・バスの音域を担当し、 もともと88鍵盤あるピアノの音域を分担します。

鍵盤を触って体験する本作品は、鍵盤を叩くタイミングがガイド表示と合うと光の明滅が行われ、みんながきれいに揃うと和音として聞こえてきます。

＜ある2曲＞が交互に表示されるので、どんな曲が奏でられるか、何人かで演奏して探ってみていただくといったものになっています。

デモモードとして、鍵盤の左に付いている、黒い小さなボタンの真ん中のボタン（コントロールチェンジ）を押しっぱなしにしてみると、その曲が正しく弾けた時の演奏を聞くことができます。

元々中学校だった本会場に合わせた音楽をご用意しました。

やや混み入った話

譜面の歴史は、2世紀頃のギリシア記譜法、9世紀のネウマ譜などを経て、17世紀頃今のデザイン＜ト音記号・5線・音符など＞になり、印刷を伴って市場で流通するようになったのはベートーベンの活躍したおよそ200年ほど前になります。

古代ギリシア譜

ネウマ譜

この作品は現在利用可能なテクノロジーを用いて演奏指示（譜面）を代替する試みです。

21世紀のいま、様々なテクノロジーとともに新しい譜面のあり方が実はあるのではないかと考え、グラフィックでデータビジュアライズ作品を考えたり、模造紙で作ったテープレコーダーのようなアナログピアノロールが Arduino ＋サーボモーターで駆動するようなプロトタイプしながら、紆余曲折の後、この拡張現実にたどり着きました。

今回の拡張現実上に現れる譜面の代替方法は「バーが流れてくるので、タイミングを合わせて対応した鍵を押す」という、ゲームセンターなどでよく見ることができるリズムゲーム式の記譜法でしたが、他にも曲や楽器に応じて様々な記譜法が考えられる気がします。

音楽・テクノロジー・デザインについてご来場方と色々お話できたので、お会いできた方や、こういうことが好きな方、またいろんな方とお話できると楽しいのでお話しましょう。

そしてまた次回（未定ですが）アンフレームエキシビジョンをよろしくお願いいたします。

技術的な話と反省

今回は @alumican の展示もあったということで有難いことに多くの学生さんにお越しいただいており、特に熱心な学生さんに質問いただいたことをまとめました。

1. 開発言語・環境

openFrameworks を使用しましたが、Processing や Cocoa、Direct X、Flash、ブラウザ（JavaScript）でも十分可能な表現だと思います。 MacBook で 1920p の画面に何百といった多くの矩形を制御していたのですが、「画面外のものは表示しない」、「計算を単純化する」、「繋げられるパスは合成して描画回数を減らす」などして、描画処理の軽量化を行いました。

一つ失敗だったなと思ったことがあり、それは openFrameworks についてもっと学習しておけばよかったということなのですが、 openFrameworks で ofSoundPlayer という音を鳴らす命令があるのですが、こいつの使い方がいまいちわかっておらず、ずっと鳴らしていたメトロノーム音がメモリリークの原因になっていたようで、度々会場でアプリがクラッシュする事態になっていました。 ほぼ会場にいたのですぐ復帰できたのですがインタラクティブものはクラッシュが発生するので遠隔で操作できるようにしておく・すぐ復帰できるようにしておくと良さそうでした。

2. 位置合わせ

「プロジェクションマッピング」とたいそれた単語を使っていますが、実際はデバッグモードを仕込んでおいて、MacBook の十字キーなどで、会場の机においたピアノを見ながらプロジェクションマッピングの位置合わせを行えるようにしておきました。

実際のキーボードを真上から事前に撮影しておき、頂点情報をメモっておいて、あとはその頂点を自由に動かせるようにしておくことで、会場のキーボードがずれてもすぐに戻せるようにしました。

会場下見が仕事の都合などで行けなかったので、採寸などができなかったのですが、ほぼきっちり合わせられたので良かったです。

ただしピアノキーボードの「厚み」により段差が生まれてしまい、ピアノロールのタイミングがやや取りづらいという気づきがありましたので、机に埋め込む・暑い発泡スチロールでバリアフリーにするとよりよくなりそうだなと思いました。

3. MIDI データ

MIDI データとはパソコンで使われている、音楽を記録する軽量なデータのことです。今回の展示でも使用しています。 形式が幾つかありますが、一般的には MIDI データには 16 のチャンネルが設定できるので、 4 チャンネルをソプラノ・アルト・テノール・バスに設定したデータを作成しました。

作成には Logic を使用しました。

会場に用意したピアノキーボードはパソコンに繋げられるもので、MIDI キーボードというものです。 これは実は一般的な電子ピアノや最近のアコースティックピアノも対応しており、パソコンに繋ぐことができます。

演奏すると音階・音の強さ・長さといった数列情報が、パソコンのキーボードのようにパソコンへ送信され、 openFrameworks 上でそのデータを取得・処理（データを受け取ったら、ガイドで表示しているデータと整合性をチェックして正解判定、画面にヒット表示など）をすることができます。

4. ソースコード

技術情報のメモサイト snippets.feb19.jp の openFrameworks のページである程度使用したスニペットをまとめておきますのでよろしければご活用ください（本ソースコードはぐっちゃぐちゃなので公開やめておきます...）。

終わりに

一旦以上です。裏話は他にもリアルスプラトゥーン（ペンキ塗り）ちょう楽しいとかハンズ最高とか餃子うまいとか楽器メーカーさんどうすかとか色々あります。

毎年来てくださる方や、なんと初デートでこの展示を選んで来てくれた方がいたり、ペットや子供と一緒に散歩がてら来てくださった方や、会場の別展示を見てからふらっと寄っていただいた方、いろんな方が来てくれて本当に嬉しかったです。 引き続き、アンフレームをよろしくお願いいたします。