援用超85000次的经典论文GAN获NeurIPS2024时间熟谙奖后激情五月，它的发讲理背后故事也被抛了出来。
要从Yoshua Bengio推行室的一次头脑风暴提及。
Bengio召集推行室成员，建议了一个富余挑战性的设计：
造就一个细则性的生成汇聚g，该汇聚仅在输入z中包含立时噪声。这个汇聚的输出x=g(z)应该是从某个散播p(x)中抽取的样本。输出不错是任何样式：图像、音频、文本。
高洁世东说念主王人无眉目之时，一个在那时看似滑稽且险些不测思意思意思意思的倡导揭开了GAN的序幕：
如果能有另一个神经汇聚充任判别器，会若何？
作家之一Sherjil Ozair，一边叙述着这段阅历，一边还知道曾有DeepMind筹议员向他开打趣，说他可能如故完成了最伟大的使命，不错平直退休了。
但他以为事实并非如斯。
CNN嗅觉像是临了的发明，但并不是。
GAN嗅觉像是临了的发明，但也不是。
LSTM、ResNet、DQN、AlphaGo、AlphaZero、MuZero都并非驱逐。
Transformer和妄言语模子，亦不是临了的发明。
这项出自Yoshua Bengio、lan Goodfellow等一众大佬，援用超越85000次，被NeurIPS2024官方评价为“生成建模的基础部分之一，在往时10年中引发了许多筹议弘扬”的筹议。
究竟是如何真金不怕火成的？
Sherjil Ozair叙述背后故事
以下是Sherjil Ozair的好意思满自述：
相等忻悦听到GAN（生成抵御汇聚）在2024年NeurIPS大会上获取时间熟谙奖。
NeurIPS时间熟谙奖是授予那些在十年时间里禁受住考验的论文。
“我”花了一些时间细腻GAN是如何产生的以及往时十年中东说念主工智能的发展。
2012年头，当“我”如故印度理工学院德里分校的本科生时，“我”随机发现了Geoffrey Hinton在Coursera上的一门深度学习课程。
深度学习那时是机器学习中一个边际化且小众的分支限制，它容或能已毕更多的“端到端”学习，况兼更接近东说念主类大脑的使命样式。
这门课相等精彩。它不仅很好地阐明了深度学习的旨趣，还充满了Hinton独到的英式幽默和非传统想维。
比如，他建议“咱们”这样可视化高维空间：
要处理14维空间中的超平面，遐想一个3维空间，然后高声对我方说“14”，每个东说念主都是这样作念。
但请记着，从13维到14维的鼎新，其增多的复杂性与从2维到3维的鼎新雷同大。
出于好奇动听地想学习更多常识，“我”启动仔细筹议系数能找到的良友。
那时主如若一些了得筹议者发表的学术论文，比如Yoshua Bengio，其中好多都保存在他推行室的网站上。
2012年，Quora相等火爆，Yoshua遍及在Quora上回答联系深度学习的问题。
“我”真挚地感谢他匡助像“我”这样的本科生领略深度学习。“我”通过Quora接洽他，抒发感激。
令“我”相等惊喜的是激情五月，“我”不仅收到了回应，还收到了一份他推行室的实习邀请。
这是一次侥幸的相遇，而那时的“我”对此次疏浚和行将伸开的旅程的困难性和影响力还惟有少量点隐晦的意志。
“我”忠诚地感激Yoshua Bengio为这个天下和为“我”所作念的一切。
“我”通过了口试获取了实习契机，2014年夏天，将在Yoshua的LISA推行室实习。
本想2013年就实习的，但印度理工学院的轨制要肄业生必须在第三学年的暑假在他们认同的公司实习。
2014年5月，“我”飞抵蒙特利尔，来到了推行室。
刚见到Yoshua，他就立马把“我”拉进了一个房间，内部坐着的还有Ian Goodfellow和Aaron Courville。
Yoshua不息阐明着他最近一直在想考的一个新倡导：
设计构建一个细则性的生成汇聚g，只在输入z中包含立时噪声。这个汇聚的输出x=g(z)应该是来自某个散播p(x)的样本，不错是任何样式：图像、音频或文本。
他强调这即是“咱们”需要造就的筹商。
但若何造就呢？在这种“隐式”采聚积，概率p(x)并莫得明确抒发。
他建议应该对生成器的输出（生因素布）和某个样本数据集（不错是图像、音频等）进行“双样本散播匹配”。
但如何进行这种散播匹配仍然不解确。
算作一个年青活泼的本科生，“我”建议了矩匹配，但“咱们”都知说念矩匹配可能无法应答高维数据。小组里也筹商了其他倡导，也都嗅觉不够有劝服力。
不外，Yoshua对造就一个细则性的、浪费噪声并产生样本的生成神经汇聚的愿景和护理令东说念主印象真切且富余启发性。
团队决定暗里不息想考这个问题。
在Les Trois Brasseurs餐厅的一次推行室聚餐中，Ian Goodfellow一霎意象了一个在那时看似滑稽且险些绝不测思意思意思意思的主意：
如果让另一个神经汇聚来充任判别器会若何？
这是一个开导前沿的时刻。
那时，神经汇聚的造就还极度“原始”。遍及作念法是：
竖立一个主神经汇聚，输入数据，得到一个瞻望末端，对其欺诈一个数学蚀本函数，然后使用梯度下跌来优化这个汇聚。
而Ian的想礼貌把蚀本函数自身设计成一个可学习的神经汇聚。不是优化一个固定的数学蚀本，而是用另一个“判别器”神经汇聚来提供蚀本值和梯度，用于造就“生成器”神经汇聚。
这个倡导天然招致质疑。通盘系统会不会崩溃到退化输出？判别器从何而来？处处都是先有鸡如故先有蛋的窘境。
但Ian对此也早有腹案。他建议让判别器和生成器在一个零和博弈中抵御：
生成器试图产生与果真数据“难以分散”的输出，而判别器则要设法分辨看到的是生成样本如故果真样本。
也许这能行？第二天，推行室系数成员都收到了一封邮件。
在一个充斥着编程和运行推行的永夜，Ian得胜让第一个生成抵御汇聚运行起来。
这些是在MNIST数据集上产生的第一批样本。
那时“我”正在筹议近似的东西，用非神经汇聚判别器进行造就，但后果远不足预期。
于是“我”决定转而匡助Ian筹议GAN。距离NeurIPS 2014的提交摈弃日历惟有一周了。“咱们”决定负重致远，应该能赶上提交一篇论文。
在接下来的几天里，“咱们”竖立了评估步调来与现存的生成模子进行相比，尝试了不同的架构、噪声函数和博弈公式。
Jean、Yoshua和“我”发现GAN博弈是禁止的，况兼在均衡现象下最小化了Jensen-Shannon散度。
“咱们”坚捏了下来，在临了一周完成了系数使命，并提交了一篇论文到NeurIPS。
GAN被领受为海报展示论文（posted presentation）。
“我”记适天然群众都很动听，但也都知说念GAN的造就动态相等不自若。大部分合营者启动筹议其它模子架构，试图管理在GAN中发现的问题。
GAN在12月份进行了展示，却基本上莫得引起珍爱。
几个月后，2015年8月，Alec Radford启动发布他一直在筹议的卷积GAN的样本。
没错，即是阿谁险些参与了OpenAI系数紧要摧毁的Alec Radford。2015年，他正在筹议卷积神经汇聚、批量归一化和GAN。
“我”无法透顶展现DCGAN之后GAN引发的庞大关注。
但“我”想强调的是，GAN的演进经由被哀感顽艳地用来记号AI合座的越过。
这张展示图像生成惊东说念主发展的图片如故逾期了，因为当前的图像生成模子如故能生成百万像素级的图像，以致不错生成视频。
至于“我”个东说念主的故事，GAN算作“我”的第一篇学术论文既是福亦然祸。一位DeepMind的筹议员曾开打趣说，“我”可能如故不错退休了，因为“我”可能如故完成了我方最伟大的使命。
然则“以为历史如故驱逐”可能是AI限制最大的漏洞。“咱们“老是倾向于以为“即是这个了，这是临了的发明”。但事实从来都不是这样。
CNN也曾嗅觉像是临了的发明，但并不是。
GAN也曾嗅觉像是临了的发明，但并不是。
LSTM也曾嗅觉像是临了的发明，但并不是。
ResNets、DQN、AlphaGo、AlphaZero、MuZero都不是临了的谜底。
回及其来看，这些倡导老是显得很滑稽。然则想想当前，Transformer和妄言语模子被以为是临了的发明。
但它们也不是。
“我”最近离开了前沿AI推行室的圈子，启动创办一家公司来构建一些信得过令东说念主咋舌的东西。“我”很快会共享更多接洽信息。敬请关注。
感谢NeurIPS Conference授予GAN时间熟谙奖，也感谢这些抵御者们：Ian Goodfellow、Jean Pouget-Abadie、Mehdi Mirza、Bing Xu、David Warde-Farley、Aaron Courville、Yoshua Bengio
也为Seq2Seq论文作家们默示祝福。
Ian Goodfellow开麦
Mehdi Mirza将这段阅历共享出来后勾引到不少网友围不雅，网友们看得饶有利思意思：
没意象论文一周就写出来了。
好一段精彩的历史细腻！在”Attention is all you need”之前，GAN才是主流。
GAN论文一作Ian Goodfellow也热诚开麦：
如果你是阿谁时期的亲历者，值得一读以怀旧；如果你不是，也能通过这些笔墨一窥当年的情形。
对于GAN论文的更多细节，不错点击这里张望：史无先例！Seq2Seq和GAN同获NeurIPS时间熟谙奖，Ilya畅通2年获奖。
— 完 —激情五月