生成对抗网络(GAN),是深度学习模型之一,2014年lan Goodfellow的开篇之作Generative Adversarial Network,GAN是一种无监督学习方法,它巧妙地利用“对抗”的思想来学习生成式模型,一旦训练完成后可以生成全新的数据样本。DCGAN将GAN的概念扩展到卷积神经网络中,可以生成质量较高的图片样本
GAN包括两个模型,一个是生成模型 G(Generator),一个是判别模型 D(Discriminator)。他们分别的功能是:
在训练过程中,生成模型G的目标是尽量生成看起来真的和原始数据相似的图片去欺骗判别模型D。而判别模型D的目标是尽量把生成模型G生成的图片和真实的图片区分开来。这样,生成器试图欺骗判别器,判别器则努力不被生成器欺骗。两个模型经过交替优化训练,互相提升,G和D构成了一个动态的“博弈”,这是GAN的基本思想。
最后博弈的结果是什么?在最理想的状态下,G可以生成足以“以假乱真”的图片G(z)。对于D来说,它难以判定G生成的图片究竟是不是真实的,因此D(G(z))=0.5。此时得到了一个生成式的模型G,它可以用来生成图片。
如上图所示,我们有两个网络,生成网络G(Generayor)和判别网络D(Discriminator)。生成网络接收一个(符合简单分布如高斯分布或者均匀分布的)随机噪声输入,通过这个噪声输出图片,记做G(z)。判别网络的输入是x,x代表一张图片,输出D(x)代表x为真实图片的概率。
我们站在判别网络的角度想问题,首先判别器要能识别真实数据,同样也能识别出生成数据,在数学式子上的表达为D(x)=1和D(G(z))=0。我们通过这两个式子,分别来构造[正类](判别出x属于真实数据)和[负类](判别出G(z)属于生成数据)的对数损失函数。
我们从式子中解释对抗,损失函数的图像是一个类似于y=log(x)函数图形,x0时,y0,x=1时,y=0,生成网络和判别网络对抗(训练)的目的是使得各自的损失函数最小,,生成网络G的训练希望$D(G(z))$趋近于1,也就是正类,这样生成网络G的损失函数$\log (1 - D(G(z)))$就会最小。而判别网络的训练就是一个2分类,目的是让真实数据x的判别概率D趋近于1,而生成数据G(z)的判别概率$D(G(z))$趋近于0,这是负类。
当判别网络遇到真实数据时:${E_{x \sim {p_{data}}(x)}}[\log D(x)]$,这个期望要取最大,只有当D(x)=1的时候,也就是判别网络判别出真实数据是真的。
现在剧情大反转,对于判别网络D而言,希望目标函数(判别公式$V(D,G)$)最大化,但对于生成网络G,希望目标函数(判别公式$V(D,G)$)最小化,即你判别网络判别不出我是真数据还是生成数据。有趣的事情来了,那到底是希望这个目标函数最大化好呢,还是最小化好呢?来打一架吧。整个训练的过程是一个迭代的过程,其实
当我们求得最优的$D_G^*$即$D = D_G^*$,我们反过来把$D = D_G^*$代入上面的式子,来求最优(最小)的G,即$G_D^*$。整个训练优化过程就是一个循环迭代过程。在原论文中lan J.Goodfellow更喜欢求解最优化价值函数的G和D以求解极大极小博弈:
式中:D是判别函数,x是真实数据,D(x):判别真实数据的概率,D(G(z)):判别生成数据的概率
其实极小极大博弈可以分开理解,即在给定G的情况下先最大化V(D,G)而取$D_G^*$,然后固定D,并最小化V(D,G)而得到$G_D^*$。其中给定G,最大化V(D,G)评估了真实数据和生成数据之间的差异或距离。
黑色线表示真实数据的分布,绿色线表示生成数据的分布,蓝色线表示生成数据在判别器中的分布效果
(a)、判别网络D还未经过训练,分类能力有限,有波动,但是真实数据x和生成数据G(z)还是可以的
(c)、绿色的线与黑色的线偏移了,蓝色线下降了,也就是判别生成数据的概率下降了。
由于绿色线的目标是提升提升概率,因此会往蓝色线高的方向引动。那么随着训练的持续,由于G网络的提升,生成网络G也反过来影响判别网络D的分布。在不断循环训练判别网络D的过程中,判别网络的判别能力会趋于一个收敛值,从而达到最优。$$D_G^*(x) = \frac{{{p_{data}}(x)}}{{{p_{data}}(x) + {p_g}(x)}}$$
首先需要一点预备知识,如果我们对于同一个随机变量x有两个单独的概率分布P(x)和Q(x),我们可以使用KL散度(Kullback-Leiblerdivergence)也称为相对熵,这是统计中的一个概念,是衡量两种概率分布的相似程度,其越小,表示两种概率分布越接近。
在离散变量的情况下,KL散度衡量的是:我们使用一种编码,使得概率分布Q产生的消息长度最短。再用这种编码,发送包含由概率分布P产生的符号的消息时,所需要的额外信息量。
2、当前仅当P和Q在离散型变量的情况下是相同分布,或者P和Q在连续型变量的情况下是几乎处处相等,那么KL散度为0。
在李宏毅的讲解中,KL散度可以从极大拟然估计中推导而出。若给定一个真实数据的分布${P_{data}}(x)$和生成数据的分布${P_G}(x;\theta )$,那么GAN希望能够找到一组参数$\theta $使得真实数据的分布${P_{data}}(x)$和生成数据的分布${P_G}(x;\theta )$之间距离最短,也就是找到一组生成器参数使得生成器能够生成十分逼真的图片。
L为全部真实样本在生成分布中出现的概率。又因为若P_G(x;θ)分布和P_data(x)分布相似,那么真实数据很可能就会出现在P_G(x;θ)分布中,因此m个样本都出现在P_G(x;θ)分布中的概率就会十分大。
下面我们可以最大化拟然函数L来求得离真实分布最近的生成分布(即找到最优的参数${\theta ^*}$):
1、我们希望得到最大化拟然函数L,简化求解过程,对拟然函数取对数,那么累乘就转换成累加,并且这一过程并不会改变最优结果。因此我们可以将极大似然估计化为求令$\log {P_G}(x;\theta )$期望最大化的$\theta $
3、因为该最优化过程是针对 θ 的,所以我们多减去一项$\int_x {{P_{data}}} (x)\log {P_{data}}(x)dx$,不含 θ的积分并不影响优化效果,因为这相当于是一个参数。
上面的积分就是KL散度的积分形式,所以我们想要求得生成分布和真实分布尽可能靠近的参数θ,那么我们只需要求令KL散度最小化的参数θ(最优的θ)。
这里在前面添加一个负号,将log里面的分数倒一下,就变成了KL散度(KL divergence)
这样我们其实根本没办法求出这个${P_G}(x)$出来,这就是生成模型的基本想法。
Scott Rome对原论文的推导有这么一个观念,他认为原论文忽略了可逆条件,原论文的推理过程不够完美。我们开看看到底哪里不完美:
原论文中,有一个思想和其他方法不同,即生成器G不需要满足可逆条件,即G不可逆
其他人:证明时使用积分换元公式,,而积分换元公式恰恰是基于G的可逆条件。
满足Radon-Nikodym定理条件之后。我们利用积分换元变换一下之前定义的目标函数:
这样我们就求得了在真实数据给定和生成数据给定的前提下,能够使得V(D)取得最大值的D,其实该最优的D在实践中并不是可计算的,但在数学上十分重要。我们并不知道先验的P_data(x),所以我们在训练中永远不会用到它。另一方面,它的存在令我们可以证明最优的G是存在的,并且在训练中我们只需要逼近D。
判别器已经分不清谁是真实数据谁是生成数据了,我们代入目标函数V(G,D),即进入极大极小博弈仪式的第二步,求令$V(G,{D^*})$最小的生成器${G^*}$(最优生成器)。
原论文中的这一定理是「当且仅当」声明,所以我们需要从两个方向证明。首先我们先从反向逼近并证明V(G,D)的取值,然后再利用由反向获得的新知识从正向证明。设${P_G}(x) = {P_{data}}(x)$(反向指预先知道最优条件并做推导),我们可以反向推出:
该值是全局最小值的候选,因为它只有在${P_G}(x) = {P_{data}}(x)$的时候才出现。我们现在需要从正向证明这一个值常常为最小值,也就是同时满足「当」和「仅当」的条件。现在放弃${P_G}(x) = {P_{data}}(x)$的假设,对任意一个G,我们可以将上一步求出的最优判别器D*代入到V(G,D)中,得到如下的结果$${\max V(G,D) = V(G,{D^*})}$$
因为概率密度的定义,${{P_{data}}(x)}$和${P_G}(x)$在它们积分域上的积分等于1,结合之前介绍的KL散度,推理出下式:
KL散度是非负的,所以我们马上就能看出来 -log4为V(G,D)的全局最小值。
之所以当P_G(x)=P_data(x)可以令价值函数最小化,是因为这时候两个分布的JS散度[JSD(P_data(x)P_G(x))]等于零,看到这里我们其实就已经推导出了为什么这么衡量是有意义的,因为我们取D使得V(G,D)取得min值,这个时候这个min值是由两个KL divergence构成的,相当于这个min的值就是衡量${P_G}(x)$就能够取到G使得这两种分布的差异最小,这样自然就能够生成一个和原分布尽可能接近得分布。
假设存在两个分布P和Q,且这两个分布的平均分布M=(P+Q)/2,那么这两个分布之间的JS散度为P与M之间的KL散度加上Q与M之间的KL散度再除以2。这里P为${P_{data}}(x)$,Q为${P_G}(x)$。
JS散度的取值为0到log2。若两个分布完全没有交集,那么JS散度取最大值log2;若两个分布完全一样,那么JS散度取最小值0。
原论文还有额外的证明白表示:给定足够的训练数据和正确的环境,训练过程将收敛到最优G,我们并不详细讨论这一块。
我们通过GitHub上的一个DCGAN项目介绍TensorFlow中的DCGAN实现。利用该代码主要去完成两件事情,一是生成MNIST手写数字,二是在自己的数据集上训练。
在上面的步骤中,每对D的参数更新一次,便接着更新一次G的参数。有时还可以对D的参数更新k次后再更新一次G的参数,这些要根据训练的实际情况进行调整。另外,要注意的是,由于D是希望损失越大越好,G是希望损失越小越好,所以它们一个是加上梯度,一个是减去梯度。
当训练完成后,可以从$P_z(z)$随机取出一个噪声,经过G运算后可以生成符合P_{data}(x)的新样本。
这一节主要讲使用DCGAN生成卡通人物头像。首先需要准备好图片数据并将它们裁剪到统一大小。我们把数据放在项目根目录下的./data/anime文件夹下,