你投的论文是怎么凉（中）的你投的论文是怎么凉（中）的

原文：My Criteria for Reviewing Papers
作者：Eric Jang
译者：尹肖贻
NeurIPS 2020 论文评议结果公布了。评议统共9454份，接受论文1900篇（约占20％）。无论接受与否，对每位作者与评委为科研付出的辛勤劳动，我都表示衷心的感佩！
在机器学习研究圈里流传着一个公开的秘密：NeurIPS还是其他什么会议，接受与否犹如掷骰子赌运气。现今的“学术出版”业（Academic Publishing），与实证研究几乎脱了节。评委们就像的剧院里众口难调的观众，每个人都各有主张，根据不同的标准褒贬论文的不同侧面。下面列一些评委可能采取的标准：
正确性：这是科学论文的最低要求。本文提出的主张是否在科学意义上正确？作者是否有意无意地在训练过程中使用了测试集的信息？如果论文中提出了一种算法，作者是否有力地表明，该算法的卓越性出于他们陈述的理由？
新知识：论文必须为该领域贡献新知识。“新”可以体现为：新算法、新实验数据、现有概念的新解释等等。综述性的论文也应包含新知识，比如将多个工作的脉络统一起来，从而形成整体观点。
溯源恰当：阐明该论文与先前工作的联系，以及当前工作的创新之处。一些审稿人会拒绝那些未能充分引述先前工作、或与先前工作的区分度不足的论文。
SOTA结果：要求论文（1）提出一种新算法，以及（2）在公认的测试基准（base-line）上达到最好结果（State-of-the-art）。
仅SOTA是不够的：没有评委会因为论文实现SOTA而进行惩罚，但是有些评委希望论文不仅要超越基准线，还要满足列表中的更多项标准。一些评委甚至刻意抨击ML领域的“SOTA”文化。如果一篇论文仅仅符合SOTA结果而没有其他特色，会被认为是“创新不足”或“浮皮蹭痒”（incremental）。
简单性：许多研究人员声称更喜欢“简单的想法”。但是，“大道至简”和“浅陋琐碎”之间的分野并不总是显而易见。
复杂性：一些审稿人认为，倘若论文没有亮眼的算法或花哨的数学证明，论文就是“琐碎无聊”或“不够严格”。
立意清晰、理解深刻：一些评委关心算法背后的机制，期待作者能够深入理解机器学习，而不仅是实验的成功。这项与“正确性”密切相关。
令人兴奋吗？： Julian Togelius（NeurIPS20的评审委员会主席）指出，他判过的很多论文，都不足以令他兴奋。也许只有他自己知道“令人兴奋”的内涵，不过我揣测他的意思是，在选择研究问题和解决方案时，要具有“品味”。

文章图片
上图所说：“我理解被拒论文的作者此刻心情不佳。作为评审主席，我敢肯定一些论文虽然足够出色，却最终被拒稿。这些论文的问题，就是不够“来劲”，让我提不起兴趣。足够困难的问题：一些审稿人拒绝使用太简单的数据集（如MNIST）做测试基准的论文。“足够困难”是一个不断变化的目标，它隐含着一个期望，即随着该领域发明更好的方法，测试基准必须变得越来越难，以推动人们研究尚未解决的问题。同样，基于简单测试基准的SOTA方法并不总是基于更困难的测试基准（更接近于实际应用）的SOTA。侥幸的很，我引用数最高的论文是在MNIST仍可以作为测试基准的时候撰写的。
出人意表：即使论文给出不错的结果，审稿人也可能声称论文稀松平常，实验结果“显而易见”。举个例子，有的论文将物体识别的通用算法应用在新的数据集上。考虑到计算机视觉领域的流行观点认为有监督的物体识别问题已经被大部分解决，那么上述论文可能会被认为“太简单和直接”。（物体识别被解决这个观点并不准确，但是在测试基准反映不出来。）
我特别喜欢违反直觉的论文，我也正自努力效仿。我最喜欢的一些论文，不仅没有达到SOTA，甚至没有提出任何新算法，但结论足够违反直觉：

Approximating CNNs with Bag-of-local-Features models works surprisingly well on ImageNet
Understanding Deep Learning Requires Rethinking Generalization.
A Metric Learning Reality Check
Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
Adversarial Spheres

实用性：与“足够困难的问题”密切相关。一些评论者认为，仅是虚拟的游戏就可以作为强化学习算法的测试平台，而另一些评论者（通常来自典型的机器人社区）则持有不同观点，他们认为Mujoco Ant （一种虚拟的四足蚂蚁）和真正的四足机器人所面临的挑战是完全不同的，因为前者的实验结论并不能直接影射后者的表现。
符合AI道德规范吗？一些评委将机器学习的发展视为建立更好社会的手段，拒斥与他们的AI伦理不符的论文。今年NeurIPS要求论文作者考虑“更广泛的社会影响”，这表明机器学习社区正在认真对待这项要求。例如，如果论文试图仅从面部特征推断犯罪，或执行自动武器瞄准，那么无论采用哪种方法，论文都将被拒绝。
不同的审稿人将上述内容分配不同的优先级，其中许多标准都是高度主观的（例如问题偏好、道德规范、简洁性等）。对于上述每个标准，都有可能存在反例，甚至是引用数很高或很有影响力的论文，也违反其中的一些标准，可能因为它们对其他标准符合得很好。
我的标准我想分享我对论文的审查标准。当要做出接受/拒绝的决定时，我主要关心正确性和是否包含新信息。即使我认为某篇论文立意偏狭，几无可能在十年内成为热门研究领域，只要该论文让我了解到其他地方都没有提到过的新知识，我也将投票接受它。
对于上述抽象原则，这里有一些示例更为具体：

如果你在论文简介中提到某种强化学习的类人探索，并发明了一种算法以完成功能，那么我希望在实验部分看到的经验证明，该算法确与人的行为相似；
如果你的算法无法实现SOTA，我对此并不介意。但我想看到你仔细分析算法何以无法实现SOTA，以及算法的动机；
当论文提出新算法时，我更愿意看到该算法的效果比以前的工作更好。但是，如果该论文对“为什么它没有比以前的工作得分更高”的事实进行了正确的分析，我仍然会投票接受；
如果你声称新算法由于X原因而工作得更好，那么我希望看到实验表明这一结果不是由于替代假设X1、X2而引起的。

我必须指出，正确性难以验证。在过去的五年中，许多度量学习主题的论文在顶会中录用，然而只有 Musgrave等指出，这些论文之间的实验基准不一致。作为审稿人，我必得提醒自己放低身段，奉命唯谨。我已经审阅了十多个会议和研讨会的论文，坦白地说，凭靠阅读我仅能了解25％的内容。作者们花了数十乃至数百个小时，设计和研发论文和实验方法，而我只花几个小时来确定论文是否“科学正确”。我的道行，还不足以掌握严格评估正确性的能力。
不管对于论文作者还是审稿人，一个常挂嘴边的好问题是：“什么实验可以让人确信论文的假设是正确的，而不是由于某些替代假设？作者是否检查了所有的替代假设？”【译者：要做充分的Ablation Study。】
我认为，我们应该接受所有“足够好的”论文，与此同时允许评委保留额外的主观标准，诸如“品味”和“简洁性”，以用于论文评奖、讲演、或会议展示。我不知道是否应该让每个人都认同我的个人标准，不过作为审稿人，我明白无误地申明接受/拒绝论文的标准，对于论文作者和其他审稿人不无裨益。
非传统研究人员的机会如果你有兴趣获得指导，学习如何更好地阅读、评论并撰写论文，我想补充一下可循例联系到我的时段，当前订在每星期六上午，通过Google Meet线上举行。在过去的三个月中，我保持对六位同学进行指导，效果不错。
任何不具有传统研究背景（当前不处于攻读机器学习博士学位）的人都可以联系我预约时间。你可以将之视为访问助教，以获取研究工作的帮助。以下项目我可以提供，这些帮助项目完全无偿：