GANの収束性に関する論文
Yohei KIKUTA
@yohei_kikuta
20180127
NIPS2017論文読み会 @cookpad

自己紹介
・名前：菊田遥平 @yohei_kikuta
・所属：クックパッド株式会社
研究開発部
・肩書：リサーチエンジニア
博士（理学）
・専門：画像分析
・好物：焼き餃子、寿司、Dr Pepper
2/41

NIPS2017 行ってきました
3/41

NIPS2017 行ってきました
4/41

NIPS2017 行ってきました
5/41

NIPS2017 行ってきました
6/41

GANの収束性の話をします
具体的なモデルに言及する場合には
original GAN と WGAN のみを扱います

References

[Papers]
• Gradient descent GAN optimization is locally stable:
https://arxiv.org/abs/1706.04156
• The Numerics of GANs:
https://arxiv.org/abs/1705.10461
• Approximation and Convergence Properties of Generative Adversarial Learning:
https://arxiv.org/abs/1705.08991
• Generative Adversarial Networks:
https://arxiv.org/abs/1406.2661
• Wasserstein GAN:
https://arxiv.org/abs/1701.07875
• Hilbert space embeddings and metrics on probability measures:
https://arxiv.org/abs/0907.5309
• Equilibrium points in n-person games
http://www.pnas.org/content/36/1/48.full
9/41

Introduction

GAN 大隆盛
対立的構造により generator と discriminator を学習する新しいパラダイム
これに続く論文も勢いがある
Unsupervised representation learning with deep convolutional generative adversarial networks
https://arxiv.org/abs/1511.06434 [引用 991]
Improved techniques for training gans
https://arxiv.org/abs/1606.03498 [引用 477]
Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks
https://arxiv.org/abs/1506.05751 [引用 429]
Wasserstein gan
https://arxiv.org/abs/1701.07875 [引用 403]
Ref: https://scholar.google.co.jp/ on 20180125
11/41

GAN 研究の方向性
・より良い generator (と discriminator) を作成するための新しいモデルの探索
DCGAN (https://arxiv.org/abs/1511.06434), LAPGAN (https://arxiv.org/abs/1506.05751), …
・表現学習としての GAN
cGAN (https://arxiv.org/abs/1411.1784), InfoGAN (https://arxiv.org/abs/1606.03657), …
・応用としての GAN
cycleGAN (https://arxiv.org/abs/1703.10593), SRGAN (https://arxiv.org/abs/1609.04802), …
・関数解析を始めとする理論的な解析
WGAN (https://arxiv.org/abs/1701.07875), neural net distance (https://arxiv.org/abs/1703.00573), …
・etc…
12/41

GAN の難しさ
・うまく学習させることが難しい（hyper parameter に敏感、mode collapse 問題、…）
・平衡点の存在や収束性などは理論的にまだまだ明らかにされてない
・モデルの評価（人間の知覚の数学的表現）
・どう応用に使うか（面白い、パッと見はよさそう、以上の controllable なもの）
・etc…

⇒ 今日は平衡点の存在やその周りでの振る舞いの最近の解析を紹介
13/41

GAN as a
two-player zero-sum game

GAN の目的関数
original form
以下に注目して一般化する
・- log(x) が convex で log(1-x) は convex
・乱数からのサンプリングを から実行すると読み替える
・minimize を θ に関して、 maximize を関数空間に関して、と読み替える
ここで g1 と g2 は convex function である
さらに g1 と g2 を f に吸収し minimize も確立分布に一般化をすると以下の形
15/41

GAN の zero-sum game
GAN はゲーム理論の文脈では連続的な戦略の two-player game である
zero-sum game の意味は各プレイヤーの cost の総和が常にゼロとなることである
定義は generator と discriminator の効用関数が以下の関係を満たすことである
discriminator の効用関数は minimize の意味で original に negative sign をつけたもの
generator の効用関数はそれゆえに
ここで generator に関する項だけを見ていることに注意。これを解けば良い
※各種GANが必ず zero-sum game の枠組みに収まるわけではない
（実際に原論文でも収束性のために符号を flip したものを用いる）
16/41

ゲーム理論における平衡点
Nash均衡を理解してみる
Ref: http://www.pnas.org/content/36/1/48.full
17/41

ゲーム理論における平衡点
Nash均衡を理解してみる
compact
効用の期待値が高まる時
別の戦略に移る
convex
closed
角谷の不動点定理
Ref: http://www.pnas.org/content/36/1/48.full
18/41

GAN の言葉で言うと？
player ↔ generator, discriminator の two players
strategy ↔ generator, discriminator のパラメタを一組選ぶこと
payoff ↔ objective function (generator, discriminator それぞれに関して)
mapping function ↔ 学習によってパラメタの組を更新すること
equilibrium point ↔ 学習によってパラメタが更新されない点
※ GAN では必ずしも平衡点の存在が保証されているわけでないことに注意
※ 存在するとして、stochastic gradient の方法でそこに り着けるかも保証されてない

⇒ GANの平衡点の存在可能性と解への収束性が知りたい
19/41

平衡点の存在と収束可能性
（証明は全て省きます）

各種 GAN の一般的定義
一般的な表式からスタートする
これを違った見方から、現在の ν から target µ がどれくらい離れてるかと解釈する
ここから adversarial divergence を定義
この τ が基本的な解析対象となる
ここで f とdiscriminator の class を適宜定義することにより、各種 GAN を再現する
21/41

各種 GAN の再現
discriminator の set
22/41

Generalized Moment Matching
target distribution µ* に最も近づくような分布を考える
理想的にはこれが µ* 自身になる (strict adversarial divergence)
実際に扱う GAN は discriminator の class が限定されてるので、その影響を知りたい
→ naive に期待するのは OPT に µ* 以外の要素が発生する。実際はどうなるのか？
条件を緩めて新たに generalized moment matching で target に近い µ を定める
m が moment matching に使う部分で r が差分
23/41

解の包含関係に関する定理
前提条件に注意 (実現可能な関数系を規定している)
・r に関して期待値の下限値が存在
・あるパラメタが存在してそのパラメタで r の期待値の下限値を実現し m は 0 以上
24/41

解の一致性に関する定理
25/41

収束可能性に関する定理
OPT が空集合でないことを主張
さらに系列 µ_n が OPT の解に弱収束することを主張
弱収束： (GAN で必要なのはこの収束)
※ 学習による収束性を保証しているわけではないことに注意
26/41

相対的な収束の強さ
左側ほど “strong“ で同じ box にあるものは equivalent
WGAN はこの収束の強さの意味で最も小さいクラスになっている
27/41

平衡点近傍での収束性

二つの論文の類似点と相違点
平衡点の存在を仮定した上で、その周りでの振る舞いを議論
1. Gradient descent GAN optimization is locally stable
2. The Numerics of GAN
この二つはかなり近い主張をしている
・平衡点近傍での解の更新を常微分方程式で定式化（離散化すると勾配法）
・勾配の flow に注目し、Jacobian の固有値との関係を議論
・正則項として double back prop 項を導入してゼロ実固有値を防ぐ
違いもあるので真面目に読むときは注意が必要
・discriminator の値域は 1. が (-∞, +∞) で 2. が [0, +∞) になっている
・1. は D と G のパラメタ、2. は zero-sum game での効用関数、が主たる登場人物
⇒ 2. の方が個人的に好みなので、こちらを中心に紹介します
29/41

登場人物
two-player zero-sum game での効用関数として f(φ,θ) と g(φ,θ) を考える
(φ, θ) がそれぞれ discriminator と generator のパラメタ
Nash均衡は が平衡点近傍で成り立つもの
Euler 法によって解を更新していくことを考え、勾配ベクトル場と Jacobian を次で定義
ただし v’ において two-player zero-sum game の条件 f = -g を使用している
学習は Simultaneous Gradient Ascent (SimGA) で実行
30/41

固有値の基本的な補題
補題 1. は f が θ に関して concave で φ に関して convex であることを要請
証明は容易
後に固有値解析をするので negative (semi-) definite というのが重要な帰結
系 2. は zero-sum game でのみ成立することに注意
GAN は必ずしも zero-sum game の枠組みで記述されないため、その意味で限定的
31/41

平衡点近傍での振る舞い
平衡点近傍での解の収束
2. の性質は直感的に非自明だが、 F(x) = x + h G(x) where h > 0 を考えると理解できる
F’(x) = I + h G’(x) なので、この Jacobian の平衡点での固有値は 1 となる
さらに先述の勾配ベクトル場に合わせると x → (φ,θ), G(x) → v(φ,θ) となる
この h が SimGA のステップサイズであったことにも注意し、
{Jacobian固有値, h, 収束性} に関する議論を押し進める
32/41

平衡点近傍での振る舞い
{Jacobian固有値, h, 収束性} に関する補題と系
(10)式より、{大きい実固有値, 虚部が実部より大きい} 場合に h が小さくなる
パラメタ更新の際のステップサイズが小さくなるので時間が掛かってしまう
v’ の固有値空間
これらの点は小さい h
を要求する
平衡点は (1,0)
→ 平衡点にたどり着く
までに長時間必要
33/41

平衡点近傍での振る舞い
収束性を良くするためには h の値が小さくなりすぎるのを避けたい
・平衡点での振る舞いは変えたくない
・その上で Jacobian の固有値の実部を負の方向に動かしたい
効用関数を以下のように modify する ( )
この効用関数の下での最適化を consensus optimization と呼ぶ
straightforward な計算により h のサイズを決める量は次式で求まり、γ で調整可能
34/41

実験
mode collapse に関する実験
35/41

実験
学習時の損失関数と inception score
学習を通じて安定性があり、これは何らかの大域的構造を示唆しているかも？
36/41

Summary

まとめ
• GAN は大いに流行っているが、解の存在と収束に関しては理解は不十分
学習が難しくて安定しないことが大きな問題の一つ
ただし最近は（条件付きで）様々な系統的な解析が進められるようになってきた
• 関数解析により理論的な整備がされてきている
adversarial divergence で様々な提案手法を統一的に記述可能
解を求める上で moment matching effect の範囲で一致するものの存在や収束を証明
•
平衡点近傍での収束性が示された
特に two-player zero-sum game と見なせるもので収束性を証明
勾配ベクトル場の flow (とそれを司る Jacobian 固有値) が重要であることが分かった
勾配ベクトル場を補正するために正則化として double back prop. 項が有効
38/41

Future directions

面白そうなトピック
• global な解に関する解析
解の存在可能性に関するより進んだ考察
幾何的な解析とかもっとできないだろうか（仮定が強くなってしまうだろうけど）
• ナッシュ均衡で得られているものは良い”解”なのか？
ゲーム理論の文脈では社会的に望ましいわけではない
非協力ゲームから協力ゲームに拡張するとか
どのような objective function が好ましいかの理解が深まっていって欲しい
•
practical な方法論の洗練
結局どうするのが一番いいのか？（理論解析は仮定も強いし実用には少し弱い）
もっと簡単に安定的に学習できて欲しい（まだまだ足りない）
40/41

[宣伝] NIPS報告会やります
https://www.ai-gakkai.or.jp/no74_jsai_seminar/
41/41