GANで声質変換をしたら衝撃の結果に！？

この記事は、 SYSKEN Advent Calendar 2018 24日目の記事です。

お久しぶりです。てんぷらです。
皆さんはクリスマスイブいかがお過ごしでしょうか。
私は、WSLの設定をしていたらオールしてしまったので眠いです。

本日は、GANを使用して声質変換に挑戦してみた話をしようと思います。

1.GANとは

GANとはGenerative Adversarial Networkの略であり、日本語では敵対的生成ネットワークと呼ばれている、ニューラルネットワークを用いた機械学習モデルの一つです。
GANは、ある画像群に似た画像を生成したり、画像の着色の自動化する際などに使用されています。

GANの考え方は、よく紙幣の偽造者と警察に例えられます。ですが、この解説方法はネットを探せばたくさん出てくるため、ここでは割愛させていただき、分かりやすく解説されているサイトの紹介に代えさせていただきます。
詳細な解説 : はじめてのGAN

GANは生成ネットワークと、監視ネットワークという二つのネットワークからなっています。
それぞれに違う目的があり、生成ネットワークは「目標となるデータに似せたデータを作る」という目的があり、監視ネットワークは「届いたデータが目標データなのか、生成ネットワークが作成したデータなのか見極める」という目的があります。

学習は以下のような流れで進んでいきます。
(1) 生成ネットワークが目標データに近いデータを生成する
(2) 監視ネットワークが目標データと(1)で生成されたデータを識別する
(3) 生成ネットワークは次こそバレないように、もっと似ているデータを生成する
(4) 識別ネットワークは目標データと(3)で生成されたデータの識別を行うが、先ほどより難しくなっているので、もっと正確にデータの識別を行う
(5) (3)(4)を繰り返し、生成ネットワークは目標データにかなり似たデータを生成できるようになる

互いが高めあっていく事で、学習を進めていくというのは大変面白いですね。

今回はこのGANを使用して、Aさんの声をBさんの声に変換するシステム、すなわち声質変換の作成をしてみました。

2. 音声の前処理

さっそくGANの作成に、といいたいところですが、音声の前処理が必要です。
ここでは、自身のシステムでおこなった音声の前処理について説明します。
システムはPythonで作成しました。

今回の声質変換は以下のようなデータフローで行いました。

MFCC

MFCCは日本語でいうとメル周波数ケプストラム係数で、音声の分野でよく使用されている特徴量です。
PythonではLibROSAというパッケージを使えば簡単に求めることができます。
今回はこれをDTWを行うために使用しました。

DTW

DTWは動的時間伸縮法と呼ばれ、音声以外でも様々な分野に使用されています。
AさんとBさんは、話し方も話すスピードも違うため、同じ文章を読んでいても時間のずれがあります。
これを何とかして、パラレルデータにするのにDTWを使用しました。
DTWもPythonのパッケージで簡単に適用が可能です。
実際にDTWした音声を聞いてみましょう。
Aさんの音声は、nico-opendataで配布されている物を使用しました。
Aさんの元の音声