Overview

• Google Magentaチームの最新のプロジェクト。2020年に発表した DDSP: Differentiable Digital Signal Processing を使って、絵筆のストロークを楽器音に変えている。

Technology/System

• 元になっているDDSPは、信号処理のパイプラインを丸ごと微分可能にすることで、ターゲットとなる音に近い音を生成するモデルを学習する。いってしまえばニューラルネットワークでシンセサイザーを使ったようなもの。
• 今回選べる音色 (= DDSPの学習済みモデル) はサックス、フルート、トランペット、バイオリンなど。
• 空、深海、ストリートといったシーン(キャンバス)を選べ、それにあった環境音やサウンドエフェクトがある。

• キャンバスごとにスケールが決まっている (ペンタトニックなどなど)
• 作った音楽はシェアできる

Further Thoughts

• 連続的な音階の変化が面白い (ピッチベンドのような)
• 楽器の音以外で試してみたい

• DDSPのモデルは重いはずなのに、Weブラウザ上で音を生成しているのがすごい！

Links

DDSP

DDSP: Differentiable Digital Signal Processing

Today, we're pleased to introduce the Differentiable Digital Signal Processing (DDSP) library. DDSP lets you combine the interpretable structure of classical DSP elements (such as filters, oscillators, reverberation, etc.) with the expressivity of deep learning. Neural networks (such as WaveNet or GANSynth) are often black boxes.

magenta.tensorflow.org

DDSPをリアルタイムで動かせるようにする研究

REAL-TIME TIMBRE TRANSFER AND SOUND SYNTHESIS USING DDSP

Ganis, F., Knudesn, E. F., Lyster, S. V. K., Otterbein, R., Südholt, D., & Erkut, C. (2021). Real-time Timbre Transfer and Sound Synthesis using DDSP. Retrieved from http://arxiv.org/abs/2103.07220 Google MagentaのDDSPをリアルタイムに動かせるプラグイン！と聞いただけですごいが.... Neural audio synthesis is an actively researched topic, having yielded a wide range of techniques that leverages machine learning architectures.

createwith.ai