那些没出现在近几年顶会上重要论文

雷锋网 AI 科技评论按：最近一阵子，NeurIPS 2019 放榜了、ICLR 2020 截稿了，为论文没中而闷闷不乐、为投稿（或者改稿重投）而郁闷头大的同学肯定不少。不过，在乎真正的学术贡献的同学也不用着急，论文中了顶会最主要还是说明符合流行风向+运气好，就像每年顶会的最佳论文过十年再来看往往并不是真正推动领域进步的论文一样。

其实，岂止「顶会最佳论文往往不是真正推动领域进步的论文」，有很多重要的、推动进步的论文都没投顶会，甚至是投了然后被拒稿。谷歌大脑研究员 Colin Raffel 在推特上发帖讨论了这事，和其它几位学者共同列举了一批重要的、推动了领域进步的、但并不属于任何顶会的论文。

Generating Sequences With Recurrent Neural Networks

• 用 RNN 生成序列

• https://arxiv.org/abs/1308.0850

• 这篇论文发布时是相当惊人的，首次表明了可以直接用 RNN 生成令人满意的文本段落或者手写文字（具体来说是用 LSTM 捕捉离散长序列的结构，每次预测下一个紧接着的元素）。而且这篇论文里还出现了注意力机制、Adam 等等后来广为使用的技巧的雏形。

WaveNet: A Generative Model for Raw Audio

• WaveNet：一个原始音频信号的生成模型

• https://arxiv.org/abs/1609.03499 

• 来自 DeepMind 的大名鼎鼎的 WaveNet 论文可以说开创了一个新的时代。在此之前的语音生成模型都是先生成“声码”，然后用单独的发声模型把声码变成音频波形信号。WaveNet 直接表明了我们现在（2016 年）就可以直接用深度神经网络生成音频波形信号，跳过声码这一环，生成效果也有极大的提升。沿着这个方向，后来的研究人员们还做了很多改进和新的探索，大幅提高语音生成速度的并行 WaveNet （Parallel WaveNet， arxiv.org/abs/1711.10433 ）也很快就进入了谷歌的商用系统。

Learning to Generate Reviews and Discovering Sentiment

• 学习生成评论并发掘情感

• https://arxiv.org/abs/1704.01444 

• A simple and surprising result (thresholding a neuron in an unsupervised LM could classify sentiment accurately) that helped kicked off the transfer learning craze in NLP.

• 这篇论文用了简单的无监督预训练方法学习文本表征，然后得到了惊喜的结果：根据学习到的无监督语言模型中的单个神经元的阈值就可以准确地判断文本的情感。这项研究也助推了迁移学习的方法在 NLP 领域的流行。
  

Implicit Autoencoders

• 隐式自动编码器

• https://arxiv.org/abs/1805.09804 

• 可变自动编码器（VAE）的概念提出了挺久了，而这篇论文讨论了一种新的自动编码器形式：编码器中的重建项和正则化项都是用对抗损失表示的，也就是隐式地参数化。相比于之前的显式的做法，隐式参数化、隐式的数据分布可以让自动编码器学习到更强有表现力的先验知识和条件似然分布，从而，自动编码器中的隐含空间可以更专注捕捉数据中的抽象、高维信息，同时其余的低维信息都已经被隐含的条件似然分布包括了。作者们的风格、内容解耦等实验中模型都发挥了优秀的表现。

Learning Dexterous In-Hand Manipulation

• 学习灵活的机械手控制

• https://arxiv.org/abs/1808.00177  

• 这篇出自 OpenAI 的论文从发布以后就是机器人控制领域的热门论文，实际上雷锋网 AI 科技评论也做过 详细的解读 。OpenAI 不仅提出了两组、八个高难度问题（机械臂末端控制、机械手拿取以及玩弄物体，都难以用早期强化学习算法直接解决），也用新的强化学习在模拟环境中训练了能完成这些任务的智能体；最惊人的是，即便是完全在模拟器中训练的，这个模型也可以不需任何微调就直接迁移到真实的机械手上，同样优美地完成了任务。这不仅是强化学习机器人控制的一个突破，在别的任务中使用强化学习的时候也可以参考他们的技巧。

Evolution Strategies as a Scalable Alternative to Reinforcement Learning

• 演化策略是一个强化学习的可拓展的的备选方案

• https://arxiv.org/abs/1703.03864  

• 这篇论文是演化策略 Evolution Strategies 这个研究方向的开创性论文。演化策略提出时是作为当时热门的基于马尔科夫决策过程的 Q-learning、策略梯度之类的强化学习方法的补充，但是实际上即便演化策略是个黑盒优化模型，它仍然有许多优点：它在多 CPU 集群上的拓展性很好、对动作频率和延迟反馈不敏感、可以执行非常长期的任务、而且不需要时间折扣或者值函数逼近。

Distilling the Knowledge in a Neural Network

• 蒸馏神经网络中的知识

• https://arxiv.org/abs/1503.02531

• 首先，这篇论文的作者中有 Jeff Dean 和 Geoffrey Hinton，可以说看到这两个名字就知道这篇论文肯定有一些有价值的洞见。然而 Jeff Dean 在推特讨论中自曝这篇论文投稿到了 NIPS 2014 然后被拒了，三位审稿人中有两位的意见是「这项工作改进很小，很可能不会有什么影响」…… 挺让人郁闷的是不是，2019 年的我们都知道，随着百万级参数数量的模型层出不穷，知识蒸馏、模型压缩的方法不仅有用，很多时候甚至是实际应用中必不可少的一个环节（为了达到可以接受的延迟和功耗）；知识蒸馏也成了近两年的热门研究课题。引用数据不会说谎，这篇论文如今已经有了大约 2000 的引用，比大多数顶会论文都要高。

在讨论中也有人说道，现在我们在这里列举出的论文被时间证明确实是有持续的影响力的，它们的引用数也都不低，但如果当年投了顶会而且被接收了，可能还要高出很多。

（对于是不是一定要把论文投顶会，有人说这其实要看作者是否已经有了较高的教职、是否已经有了类似「fuck you money」这样的底气。如果一个人已经有终生教职了、或者已经达到了博士毕业的论文数量要求了，他就完全可以只把论文传 arXiv，有价值的论文自然不会被忘记。相比之下，投顶会的论文相当一部分是来自还没达到目标的在读博士生的，出现学术价值不如没投的论文的情况也不奇怪了）

几篇论文打包下载见  https://www.yanxishe.com/resourceDetail/1030

原帖  https://twitter.com/colinraffel/status/1174691881114058752