77 人工智能生成对抗性网络王飞跃等:生成式对抗网络 GAN 的研究进展与展望.docx
77 人工智能生成对抗性网络王飞跃等:生成式对抗网络 GAN 的研究进展与展望.docx
【人工智能】【生成对抗性网络】王飞跃等:生成式对抗网络 GAN 的争辩进展与展望 新智元 2017-07-14 原文 功能引见智能+中国主平台,努力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域进展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??新智元推举 ? ? 作者:王坤峰 ,苟超 ,段艳杰 ,林懿伦 ,郑心湖,王飞跃? 【重要通知】 2017 新智元开源·生态 AI 技术峰会?【倒计时 2 天,点击“阅读原文”抢票】新智元和行业领袖英特尔联合举办,中国 AI 2017 开年盛典启幕在即。新智元327技术峰会暨颁奖盛典现场一律凭活动行二维码入场,大会于3月27日 8:00 正式开头签到,8:50会议开头,现场座位紧急请提前签到入场。活动行在大会现场设有询问席位,但提前换二维码节省签到时间。请团购注册的公司关注,务必提示参会的同事们手机接收二维码,假如不清楚可以打印出来,现场在签处处换领大会嘉宾胸卡。大会将在腾讯科技、云栖社区和爱奇艺上同步直播,欢迎关注。 【新智元导读】?生成式对抗网络 GAN (Generative adversarial networks) 被Ian Goodfellow提出至今,目前已经成为人工智能学界一个抢手的争辩方向。本文是中科院自动化争辩所王飞跃教授署名论文,他与所内争辩员王坤峰、苟超、段艳杰、林懿伦以及明尼苏达高校的郑心湖共同具体解读了?GAN 的背景、理论与实现模型、使用领域(包括自动驾驶和语音)、优缺点及进展趋势之后, 争辩了 GAN 与平行智能的关系。 3月27日的新智元 2017 年技术峰会上,王飞跃教授作为特邀嘉宾将参与本次峰会的 Panel 环节,就如何看待中国 AI学术界论文数量多,但大师级人物少的现状?人工智能被初次写入中国政府工作报告,但中国的AI开源生态还刚刚萌芽,在全球尚处边缘化地位,如何打造中国AI的主流生态等议题进行争辩。关于GAN 与平行智能的关系,你可以来现场问问他。 本文2017年3月发表在《自动化学报》(第43卷,第三期)。 援用格式?王坤峰 ,苟超 ,段艳杰 ,林懿伦 ,郑心湖,王飞跃 . 生成对抗网络GAN的争辩与展望. 自动化学报, 2017,43(3): 321-332 DOI ?10.16383/j.aas.2017.y000003.jpgwhite-space: normal; 论文作者:王坤峰 ,苟超 ,段艳杰 ,林懿伦 ,郑心湖,王飞跃? 【摘要】?生成式对抗网络 GAN (Generative adversarial networks) 目前已经成为人工智能学界一个抢手的争辩方向。 GAN的基本思想源自博弈论的二人零和博弈, 由一个生成器和一个判别器构成, 通过对抗学习的方式来训练。目的是估测数据样本 的潜在分布并生成新的数据样本。在图像和视觉计算、语音和言语处理、信息平安、棋类竞赛等领域, GAN 正在被广泛争辩,具有巨大的使用前景。本文概括了 GAN 的争辩进展, 并进行展望。在总结了 GAN 的背景、理论与实现模型、使用领域、优缺点及进展趋势之后, 本文还争辩了 GAN 与平行智能的关系, 认为 GAN 可以深化平行系统的真假互动、交互一体的理念, 特殊是计算试验的思想, 为 ACP (Artificial societies, computational experiments, and parallel execution) 理论供应了格外具体和丰富的算法支持。 关键词 ?生成式对抗网络,生成式模型,零和博弈,对抗学习,平行智能,ACP 方法 生成式对抗网络 GAN (Generative adversarial?networks) 是 Goodfellow 等[1] 在 2014 年提出的一种生成式模型. GAN 在结构上受博弈论中的二人零和博弈 (即二人的利益之和为零, 一方的所得正是另一方的所失) 的启发, 系统由一个生成器和一个判别器构成。生成器捕获真实数据样本的潜在分布, 并生成新的数据样本; 判别器是一个二分类器, 判别输入是真实数据还是生成的样本. 生成器和判别器均[2]可以接受目前争辩火热的深度神经网络. GAN 的优化过程是一个微小极大博弈 (Minimax game) 问 题, 优化目标是达到纳什均衡[3] , 使生成器估测到数据样本的分布。 在当前的人工智能热潮下, GAN 的提出满足了 很多领域的争辩和使用需求, 同时为这些领域注入了新的进展动力. GAN 已经成为人工智能学界一个抢手的争辩方向, 出名学者 LeCun 甚至将其称为“过去十年间机器学习领域最让人感动的点子”. 目前, 图像和视觉领域是对 GAN 争辩和使用最广泛的一个领域, 已经可以生成数字、人脸等物体对象,构成各种逼真的室内外场景, 从分割图像恢复原图 像, 给黑白图像上色, 从物体轮廓恢复物体图像, 从 低辨别率图像生成高辨别率图像等[4]. 此外, GAN已经开头被使用到语音和言语处理[5?6]、电脑病毒 监测[7]、棋类竞赛程序[8] 等问题的争辩中。 本文综述了生成式对抗网络 GAN 的最新争辩 进展, 并对进展趋势进行展望. 第 1 节引见 GAN 的 提出背景. 第 2 节描述 GAN 的理论与实现模型, 包 括 GNN 的基本原理、学习方法、衍生模型等. 第 3节列举GAN在图像和视觉、语音和言语、信息平安 等领域的典型使用. 第4节对 GAN 进行思考与展 望, 争辩 GAN 与平行智能, 特殊是与计算试验的关 系. 最终, 第 5 节对本文进行总结。 1. GAN 的提出背景 本节引见 GAN 的提出背景, 以便读者更好地理解 GAN 的争辩进展和使用领域. ?1.1 人工智能的热潮 近年来, 随着计算力气的提高和各行业数据量 的剧增, 人工智能取得了快速进展, 使得争辩者对人 工智能的关注度和社会大众对人工智能的憧憬空前提升[2,9]. 学术界普遍认为人工智能分为两个阶段:感知阶段和认知阶段. 在感知阶段, 机器能够接收来 自外界的各种信号, 例如视觉信号、听觉信号等, 并 对此作出推断, 对应的争辩领域有图像识别、语音识别等. 在认知阶段, 机器能够对世界的本质有确定的 理解, 不再是单纯、机械地做出推断。基于多年的研 究阅历, 本文作者认为人工智能的表现层次包括判 断、生成、理解和制造及使用, 如图 1 所示. 一方面,这些层次相互联系相互促进; 另一方面, 各个层次之间又有很大的鸿沟, 有待新的争辩突破. 无论是普遍认为的人工智能两阶段还是本文作者总结的人工智能四个层次, 其中都涉及理解这个 环节. 然而, 理解无论对人类还是人工智能都是内 在的表现, 无法直接测量, 只能间接从其他方面推 测. 如何衡量人工智能的理解程度, 虽然没有定论但是出名学者 Feynman 有句名言 “What I cannot create, I do not understand. (不行造者, 未能知也.)” 这说明机器制造事物的力气从某种程度上取 决于机器对事物的理解. 而 GAN 作为典型的生成 式模型, 其生成器具有生成数据样本的力气. 这种 力气在确定程度上反映了它对事物的理解. 因此, GAN 无望加深人工智能的理解层面的争辩. 1.2?生成式模型的积累 生成式模型不只在人工智能领域占有重要地位,生成方法本身也具有很大的争辩价值. 生成方法和 判别方法是机器学习中监督学习方法的两个分支.生成式模型是生成方法学习得到的模型. 生成方法 涉及对数据的分布假设和分布参数学习, 并能够根 据学习而来的模型采样出新的样本. 本文认为生成 式模型从争辩动身点的角度可以分为两类: 人类理 解数据的角度和机器理解数据的角度. 从人类理解数据的角度动身, 典型的做法是先 对数据的显式变量或者隐含变量进行分布假设, 然 后利用真实数据对分布的参数或包含分布的模型进 行拟合或训练, 最终利用学习到的分布或模型生成 新的样本. 这类生成式模型涉及的次要方法有最大 似然估量法、近似法[10?11]、马尔科夫链方法[12?14]等. 从这个角度学习到的模型具有人类能够理解的 分布, 但是对机器学习来说具有不同的限制. 例如,以真实样本进行最大似然估量, 参数更新直接来自 于数据样本, 导致学习到的生成式模型遭到限制. 而 接受近似法学习到的生成式模型由于目标函数难解 一般只能在学习过程中靠近目标函数的下界, 并不 是直接对目标函数的靠近. 马尔科夫链方法既可以 用于生成式模型的训练又可以用于新样本的生成,但是马尔科夫链的计算简约度较高.? 从机器理解数据的角度动身, 建立的生成式模 型一般不直接估量或拟合分布, 而是从未明确假设 的分布中猎取采样的数据[15], 通过这些数据对模型 进行修正. 这样得到的生成式模型对人类来说缺乏可解释性, 但是生成的样本却是人类可以理解的. 以 此推想, 机器以人类无法显式理解的方式理解了数 据并且生成了人类能够理解的新数据. 在 GAN 提 出之前, 这种从机器理解数据的角度建立的生成式 模型一般需要使用马尔科夫链进行模型训练, 效率 较低, 确定程度上限制了其系统使用. GAN 提出之前, 生成式模型已经有确定争辩积 累, 模型训练过程和生成数据过程中的局限无疑是 生成式模型的妨碍. 要真正实现人工智能的四个层 次, 就需要设计新的生成式模型来突破已有的妨碍.? 1.3?神经网络的深化 过去 10 年来, 随着深度学习[16?17] 技术在各个 领域取得巨大成功, 神经网络争辩再度崛起. 神经网 络作为深度学习的模型结构, 得益于计算力气的提 升和数据量的增大, 确定程度上处理了本身参数多、 训练难的问题, 被广泛使用于处理各类问题中. 例 如, 深度学习技术在图像分类问题上取得了突破性 的效果[18?19], 显著提高了语音识别的精确?????率[20], 又 被成功使用于自然言语理解领域[21] . 神经网络取得 的成功和模型本身的特点是密不行分的. 在训练方 面, 神经网络能够接受通用的反向传播算法, 训练过 程简约实现; 在结构方面, 神经网络的结构设计拘束 机警, 局限性小; 在建模力气方面, 神经网络理论上 能够靠近任意函数, 使用范围广. 另外, 计算力气的 提升使得神经网络能够更快地训练更多的参数, 进 一步推动了神经网络的流行.? 1.4?对抗思想的成功 从机器学习到人工智能, 对抗思想被成功引入 若干领域并发挥作用. 博弈、竞争中均包含着对抗 的思想. 博弈机器学习[22] 将博弈论的思想与机器学 习结合, 对人的动态策略以博弈论的方法进行建模,优化广告竞价机制, 并在试验中证明白该方法的有 效性. 围棋程序 AlphaGo[23] 打败人类选手惹起大众对人工智能的爱好, 而 AlphaGo 的中级版本在训 练策略网络的过程中就实行了两个网络左右互博的方式,获得棋局外形、策略和对应报答,并以包含博 弈报答的期望函数作为最大化目标. 在神经网络的争辩中, 曾有争辩者利用两个神经网络相互竞争的 方式对网络进行训练[24] , 鼓舞网络的隐层节点之间 在统计上独立, 将此作为训练过程中的正则要素. 还 有争辩者[25?26] 接受对抗思想来训练领域顺应的神 经网络: 特征生成器将源领域数据和目标领域数据 变换为高层笼统特征, 尽可能使特征的产生领域难 以判别; 领域判别器基于变换后的特征, 尽可能精确????? 地判别特征的领域. 对抗样本[27?28] 也包含着对抗 的思想, 指的是那些和真实样本差别甚微却被误分 类的样本或者差异很大却被以很高信任度分为某一真实类的样本, 反映了神经网络的一种诡异行为特 性. 对抗样本和对抗网络虽然都包含着对抗的思想,但是目的完全不同. 对抗思想使用于机器学习或人 工智能取得的诸多成果, 也激发了更多的争辩者对GAN 的不断挖掘。 2. GAN的理论与实现模型 2.1?GAN 的理论与实现模型GAN 的基本原理 GAN 的核心思想来源于博弈论的纳什均衡. 它 设定参与玩耍双方分别为一个生成器 (Generator)和一个判别器 (Discriminator), 生成器的目的是尽 量去学习真实的数据分布, 而判别器的目的是尽量 正确判别输入数据是来自真实数据还是来自生成器;为了取得玩耍成功, 这两个玩耍参与者需要不断优 化, 各自提高本人的生成力气和判别力气, 这个学习 优化过程就是查找二者之间的一个纳什均衡. GAN的计算流程与结构如图 2 所示. 任意可微分的函 数都可以用来表示 GAN 的生成器和判别器, 由此,我们用可微分函数 D 和 G 来分别表示判别器和生 成器, 它们的输入分别为真实数据 x 和随机变量 z.G(z) 则为由 G 生成的尽量听从真实数据分布 pdata的样本. 假如判别器的输入来自线.假如输入样本为 G(z), 标注为 0. 这里 D 的目标是 实现对数据来源的二分类判别: 真 (来源于真实数据x 的分布) 或者伪 (来源于生成器的伪数据 G(z)),而 G 的目标是使本人生成的伪数据 G(z) 在 D 上 的表现D(G(z))和真实数据x在D上的表现D(x)全都, 这两个相互对抗并迭代优化的过程使得 D 和?G 的功能不断提升, 当最终 D 的判别力气提升到一 定程度, 并且无法正确判别数据来源时, 可以认为这 个生成器 G 已经学到了线?GAN 的学习方法 本节中我们争辩 GAN 的学习训练机制。 首先,在给定生成器 G 的情况下, 我们考虑最 优化判别器 D. 和一般基于 Sigmoid 的二分类模型 训练一样, 训练判别器 D 也是最小化交叉熵的过程,其损失函数为: ? 其中, x 采样于真实数据分布 pdata(x), z 采样于先 验分布 pz (z) (例如高斯噪声分布), E(·) 表示计算期 望值. 这里实际训练时和常规二值分类模型不同, 判 别器的训练数据集来源于真实数据集分布 pdata(x) (标注为 1) 和生成器的数据分布 pg (x) (标注为 0)两部分. 给定生成器 G, 我们需要最小化式 (1) 来得 到最优解, 在连续空间上, 式 (1) 可以写为如下形式:? 对任意的非零实数 m 和 n, 且实数值 y ∈ [0, 1] ,表达式? 在?处得到最小值。因此, 给定生成器 G 的情 况下, 目标函数 (2) 在? 处得到最小值, 此即为判别器的最优解. 由式 (4) 可 知, GAN 估量的是两个概率分布密度的比值, 这也 是和其他基于下界优化或者马尔科夫链方法的关键 不同之处。 另一方面, D(x) 代表的是 x 来源于真实数据 而非生成数据的概率. 当输入数据采样自真实数据x 时, D 的目标是使得输出概率值 D(x) 趋近于 1,?而当输入来自生成数据 G(z) 时, D 的目标是正确 推断数据来源, 使得 D(G(z)) 趋近于 0, 同时 G 的 目标是使得其趋近于 1. 这实际上就是一个关于G 和 D 的零和玩耍, 那么生成器 G 的损失函数为ObjG(θG) = ?ObjD(θD, θG). 所以 GAN 的优化问 题是一个微小—极大化问题, GAN 的目标函数可 以描述如下:? 总之, 对于 GAN 的学习过程, 我们需要训练模 型 D 来最大化判别数据来源于真实数据或者伪数 据分布 G(z) 的精确?????率, 同时, 我们需要训练模型 G来最小化 log(1 ? D(G(z))). 这里可以接受交替优 化的方法: 先固定生成器
2、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
3、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
4、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
70 智能金融大数据产品推荐:金融魔方——专业的金融SaaS服务平台.docx
70 智能零售7零售业数字化转型报告发布,反向O2O将成新零售新起点.docx
72 AICPS OS重磅:知识图谱在MRO工业品电商平台产品库标准化中的实际应用.docx
江西省赣州市会昌中学宁师中学2027届生物高二上期末学业质量监测模拟试题含解析.doc
辽宁省葫芦岛市普通高中2027届生物高二上期末检测模拟试题含解析.doc
湖北省荆门市胡集高中2027届高二上生物期末学业质量监测试题含解析.doc
国际市场营销学(原书第15版)教学课件作者(美)菲利普R.凯特奥拉(PhilipR.CateorChap013课件.ppt
原创力文档创建于2008年,本站为文档C2C交易模式,即用户上传的文档直接分享给其他用户(可下载、阅读),本站只是中间服务平台,本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方,若您的权利被侵害,请发链接和相关诉求至 电线) ,上传者