您当前的位置:首页 > 问答 > 内容

为什么gan(到底谁才是发明了GAN的男人)

为什么gan(到底谁才是发明了GAN的男人)

一般认为GAN是由Ian Goodfellow等人在2014年提出的,但有人发现同样的想法早在2010年就由芬兰的一位电气工程师提出,由此引发了一场关于如何成为第一个发明家。

由Ian Goodfellow在2014年提出的GAN已经成为计算机视觉领域中最重要和应用最广泛的概念之一。

学术界流传的甘诞生传说。据说是因为伊恩古德费勒(Ian Goodfellow)某天晚上在酒吧和同事讨论学术问题,喝醉了酒,突然灵光一闪,提出了甘的初步设想,当时并没有得到同事的认可。

后来我从酒吧回去,发现女朋友已经睡觉了,我就熬了一夜写代码,发现真的很有效。经过一番研究,甘诞生了。

甘的主要灵感来源于博弈论中零和博弈的思想,它由一个生成网络和一个判别网络组成。两个网络在不断博弈:生成网络从潜在空间中随机抽取样本作为其输入,其输出结果需要尽可能模仿训练集中的真实样本。判别网络的输入是真实样本或生成网络的输出,其目的是尽可能地将生成网络的输出与真实样本区分开。生成的网络要尽可能的欺骗鉴别网络。两个网络相互对抗,不断调整参数。最终目的是让判别网络无法判断生成网络的输出结果是否真实。

有人比Ian Goodfellow早四年提出GAN?

就在大家已经觉得GAN和Ian Goodfellow平起平坐的时候,有人在Reddit上挖了一个坟墓,说其实在Ian提出GAN这个概念的4年前,就已经有人提出了非常类似的概念。

Reddit讨论地址:

https://www . Reddit . com/r/machine learning/comments/bnqm0p/d _ gans _ were _ invented _ in _ 2010/

芬兰电气工程师Olli Niemitalo会在自己的博客上记录一些不时冒出来的想法。2010年2月24日,他记录了一种训练人工神经网络生成可变上下文中缺失数据的方法。

博客链接:

http://yehar.com/blog/?p=167#2010-02-24

他在博客中写道:图像可能会丢失像素,那么如何通过周围的已知像素来恢复丢失的像素呢?

他提出的方法是一种叫做发电机,它在给定周围像素作为输入的情况下生成缺失的像素。(看,在2010年,Olli已经提到了发电机的概念!)

那么接下来的问题就是,如何训练这样的网络?

比如一张草地照片上有污点,我们知道被覆盖的部分(缺失数据)也是草,那么我们就可以训练神经网络用草来修复,根据生成的草和原始数据的均方根差(RMSD)给神经网络的结果打分。

但是,如果生成器遇到不属于训练集的图像,那么神经网络就不可能把所有的叶子(尤其是缺失部分中心的数据)都放到合适的位置。如果生成器的结果看起来不令人满意,它将受到惩罚。

看,代/对抗,它全都在那里!接下来,他还画了一张流程图:

解释一下上图。给定一个分类器网络,它可以与生成器同时训练。分类器网络以随机或交替顺序给出生成的原始数据。

接下来,分类器需要猜测输入的是原始数据还是周围图像背景下的生成数据,并对猜测结果进行评分。原始数据1分,生成数据0分。

生成器的目的是获得尽可能高的分数。随着生成器网络继续学习获得高分,它最终将能够生成人眼可以我分不清真假。

看到这里,很多Reddit网友都不淡定了,都觉得这个人是谁?""它可惜他并不出名,否则blahblah :

MasterSama:Olli是数百万超越时代但不为人知的例子之一。但我还是觉得,虽然伊恩可能不是第一个提出甘的人,但他是第一个让甘火起来的人。

为什么毛里:我同意师父的说法。我在课堂上听到一句话,没有一项科学发明是以最先发现它的科学家的名字命名的。

Alexmlamb:对于先入为主的感觉,我不我不想承认这两者是一样的。但我可能不得不承认,两者的相似度令人难以置信。

甘之父从来没有怀疑过,包括LSTM之父

中国有句老话,没有第一势力,也没有第二势力。在学术领域,从来不缺少争论。

例如,今年的所有权美国图灵奖,包括南京大学人工智能学院院长周志华教授在内的许多学者都质疑,为什么图灵奖的得主不是LSTM之父于尔根施密德胡伯?他也是深度学习领域的伟人。

LSTM之父于尔根施密德胡伯(Jrgen Schmidhuber)声称,他在1992年提出了一个PM(可预测性最小化)模型,与甘有一些相似之处,因此称伊恩古德费勒甘之父。

最后,无奈之下,Goodfellow不得不在论文的最终版本中加入了GAN和PM的差异对比,从而诞生了第一篇GAN论文。

为此,Schmidhuber和Ian不仅在邮件中进行了激烈的争论,甚至在2016年的NIPS大会上,Schmidhuber在Ian做GAN s教程。首先介绍了我在1992年提出的PM模型,介绍了PM模型的原理和实现过程,然后问Ian如何看待GAN和PM的相似之处。

伊恩当场直接表示,他们之前在邮件中讨论过这个问题,并没有我不想卷入NIPS会议,浪费观众的时间。

伊恩的话赢得了在场老板们的阵阵掌声。一个五十多岁的长辈试图碾压一个三十出头的小伙子,结果被小伙子打死了。场面一度十分尴尬。

想法不值钱,做出成绩的人才有话语权?

人工智能、机器人和空间科学工程师约翰库珀(John Cooper)在推特上阐述了自己对此事的看法:想法没有价值,做出成绩的人才有发言权。

伊恩也在下面回答,从侧面认识到做总是比说更有价值。如果你有一个确切的想法是可行的,并且领域知识能够认识到它应该是有效的,那么它实际上将是有价值的。制作第一个功能性氮化镓只用了大约1个小时,而写这篇论文需要2个星期。这绝对是一个99%的灵感,1%的汗水。

言下之意是,我我做到了,这么少的工作,你呢?"

克拉斯之父弗朗索瓦乔莱(Fran ois Chollet)回答说:这是学术界的一个大问题。正确地发展一个想法通常需要几十(如果不是几百)个人和多年的艰苦努力。但荣誉应该归于第一篇学术论文的第一作者(不考虑学术界以外的现有技术)。

事实上,如果我们打开维基百科中关于甘的定义,我们会看到维基中竟然提到了奥利涅米塔罗德的博客。不仅如此,还列出了从1990年到2017年所有与GAN相似的概念。

例如,施密德胡伯美国的可预测性在1992年降到了最低;2012严洲等将对抗原则应用于SVM;2013年,李、和格罗斯提出图灵学习通过在竞争环境中采用推理模型;直到2014年,Ian Goodfellow向公众介绍了GAN的概念,对未来的人工智能领域产生了巨大的影响。

大神人们将永远记住他的成就。即使是一个不知名的人,10年后也可能被提起来热议。

无论是Ian还是Schmidhuber,科学家所取得的成就的重要性和原创性总会被认可和质疑。但无论如何,大神们总有一个共同点,那就是坚持!

正如伊恩所说:我只需要30秒钟就可以把整个GAN的想法组合起来。但这是基于我花了四年时间攻读相关领域的博士学位,再加上读博士前的两年业余爱好。

台上30秒,台下6年!

标签:GaN领域想法


声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,谢谢。

上一篇: 数据库系统工程师职业 数据库系统工程师的岗位职责及任职要求

下一篇: 苹果手机查找我的iphone在哪里 怎么查找呢?苹果手机查找怎么



猜你感兴趣

推荐阅读

网站内容来自网络,如有侵权请联系我们,立即删除! | 软文发布 | 粤ICP备2021106084号