AIと音楽

言葉から入る音楽生成と画像から入る音楽生成 プロセス比較

前回、AIに音楽生成を指示するには、様々な入口があることを書いたので、今回は、中でも言葉による指示と絵画による指示で、AI内部の情報処理や出来上がる音楽にどのような違いが出るのかを考えてみたいと思います。

まず言葉の場合ですが、「この曲をもっと広々と伸びやかな感じに直して」と言葉で修正指示をすると、AIは、文章を細かい単位に分けてその意味や関係を分析します。具体的には、「広々と」と「伸びやか」という並列的な言葉の意味を出発点に、これに音楽的な解釈を加え、音の高さの幅を広げたり、長く伸ばす音を増やしたり、ゆったりしたリズムに変えたりという修正をします。

これに対して、広い草原を描いた絵を示して「この絵のような感じに直して」と修正指示をすると、AIは、画像を数値的な情報に変換して、形や色、物の配置などを読み取って、絵に描かれた広い空、遠くの山、草原の色、光の明るさなどさまざまな特徴を抽出して、それらを視覚的、意味的に解釈し、音楽的な特徴に結びつけます。例えば、遠くまで続く地平線から長く伸びる旋律を、風に揺れる草から細かなリズムを、明るい空から軽やかな和音に結び付けたりします。

つまり、言葉による指示では、言葉によって的が絞られた特定の意味が中心になるため、修正希望を具体的に伝えることに向いており、音楽が進む方向をはっきりさせる働きが強く出ます。

他方、絵画による指示では、広がりばかりでなく、明るさ、静けさ、色彩、動きなど多くの特徴が音楽を変える要素として抽出されるため、言葉にしにくい雰囲気を伝えることに向いており、人間が予想していなかった旋律の提案に結び付いたりして、音楽に新しい可能性を広げる働きが強く出てきます。

この二つをうまく組み合わせると、自分の希望の方向性を正確に伝えながら、自分でも思いつかなかった音楽を発見できる可能性も生まれます。昨日書いたその他のチャンネルもそれぞれの機能があるので、それらをうまく駆使していくと、AIと人間の共同創造関係は様々な広がりを持つ可能性があります。単なる機械任せではない、かなり血の通った音楽が生まれる可能性もあるように思います。

RELATED POST