昨日、Twitterでフォローさせて頂いてる方のつぶやきから、この動画を観た。



これはいわゆる録音した音声ではなく、MIDI音源の発音（つまり、機械による楽器音の生演奏）でボーカルを表現したもの。わかりやすいように、同じ原理でごく簡単なサンプルを作ってみた。

まずこれは、元ネタとなるWAVファイル（録音された音声）。


これを、上の動画同様MIDIファイルで表現したのがこちら。WindowsならMedia Player、MacならQuicktime Player、その他GM対応のMIDI音源を持っている人はそれでもOK。再生すると、音源が喋ります（クリップ防止のため音量低め）。



この原理をごく簡単に説明してみよう。我々が普段聴いている音は「基音」（いわゆる“ドレミ”の音程を感じる、基礎となる部分）と「倍音」（きつい音、こもった音などの“音色”を決めている部分）という成分で構成されている。

音のキャラクターを決める倍音が一切含まれていないのが正弦波（サイン波）というもので、馴染み深い所ではテレビの放送禁止発言にかぶせる「ピー」音がそれだと思って頂ければ良い。色々な音程の正弦波を重ねると、理論上はこの世に存在するどんな音でも再現が可能なのだ。

サンプルファイルの話に戻ると、ここでは元の音声を解析して、倍音の構成をMIDIデータの音程に変換している。それを、正弦波に近い音（ここではオカリナの音色を使用）で再生する事で声を再現している。

これは「生演奏」という所がミソで、例えば同じデータをピアノの音で演奏するとこのようになる。


グチャグチャではあるものの、かすかに声の名残も聴き取れるのではないだろうか。

この手法は、DTMをやっている人には大抵「スゴイ！」と思ってもらえるのだけど、それ以外の人にはイマイチ凄さを理解してもらえない。それはそうだろう。今やあたりまえにパソコンで歌声を合成できる時代なんだから。

普段からテクノロジーと表現を結びつけるネタを虎視眈々と探している身としては、これもなんとか面白い形にしたいんだけど、残念ながら実験以上の見世物にできるアイデアがまだ無い。海外の動画で、これと同じ事を自動演奏の生ピアノでやっているのがあったけど、今のところ万人受けしそうなのはそれぐらいかなあ。

非常に前置きが長かったが、技術的にスゴイものでも、それを娯楽の域に持っていくのはやはり大変だなあ、という事である。この「MIDI音声合成」ネタ、何か面白い使い方を思いついた方がいたら、自分で作って発表してからでも良いので是非教えてください。