为了账号安全,请及时绑定邮箱和手机立即绑定

NeurIPS审稿引发吐槽大会,落选者把荒唐意见怼了个遍:“我谢谢你们了”

标签:
人工智能
鱼羊 栗子 发自 凹非寺 
量子位 报道  

https://img1.sycdn.imooc.com//5d41860400016b7406860347.jpg

七月份的尾巴,机器学习顶会NeurIPS 2019的初步结果已经来了。

一年一度的吐槽盛会也由此开始。

“有评审问我啥是ResNet。”

“有评审问我为啥没引用X论文。我不止引用了,还专门描述了一段和X的关系。”

https://img1.sycdn.imooc.com//5d4186130001f66f07201155.jpg

“我看到了14000605种未来,没有一种能中NeurIPS。”

吐槽之余,许多小伙伴还是开始准备Rebuttal了。

虽然,多数Rebuttal没什么用,但依然有位同学给出了一份高赞模板,把Rebuttal和吐槽活动完美结合,热情问候了各位审稿人。

大家可尽情欣赏,并谨慎借鉴:

引热议的Rebuttal

在Reddit上,初步被拒的@SoFarFromHome表示:

我们感谢每位审稿人细致的评论,有些真的是看过文章才来评价的呢。

之后,就开始了全面扫射,嘲讽了论文的每一位审稿人的几乎每条评论,引发了网友的热议。量子位节选了这个Rebuttal如下:

有位审稿人问我们为啥没有引用X。我们想说的是,已经引用了,还花了一整段来描述我们的研究和它的关系。

有位审稿人举出了个数据集,让我们用它评估模型。我们想说的是,已经用这个数据集评估过了,看实验章节。

……

有位审稿人指出,我们的方法在假设3不成立的时候就不work。是啊,说得对啊。所以我们才把它列成假设了啊。恭喜您的阅读理解啊。

有位审稿人直接把我们的Intro,复制到“这篇论文的3个贡献”一栏里了。我们一定会在后续修改的时候,加上一个“分数10 置信度5”,能复制的那种,让您打分更方便。

……

有位审稿人用了一半篇幅来论证,我们这个子领域就是愚蠢的错误的。我谢谢ta跨越学术界线,来为一个让ta深深痛苦的领域写评论。

https://img1.sycdn.imooc.com//5d41866a0001689703390296.jpg

就没有一条好评么?不不不,有许多,这位同学继续写道:

审稿人们还给出了这样的评价:

“原创 (Original) ,积极 (Well-Motivated) ,值得研究 (Worthy of Study) 。”

“这篇论文读起来很享受。”

“这是一个有趣的问题,当然值得研究。”

“这篇论文找到了一个重要的问题……并给出了简单的解决方法。”

感谢你们都标了拒稿 (Reject) 。

由于所有打分都在3-5之间,不管是你们还是领域主席 (AC) ,都不会读下这篇回应,也不会考虑重新打分。

我只不过希望今后,你们写的那些原创的、积极的、有趣的、清晰的论文,也能得到同等的待遇。

https://img1.sycdn.imooc.com//5d4186710001d42402060233.jpg

既然从分数上看,几乎没给Rebuttal留什么空间;

那么,用机枪一般的吐槽,排一排闷在心里的暑气,大概也是个好办法。

当然,一定也有许多小伙伴,需要认真准备Rebuttal,抓住最后的机会。

据说,隔壁ICCV放榜喜大普奔,且Rebuttal好好写了就真的有人能看到。

所以,需要鼓励的人类,可以前往这问题:

如何评价 ICCV 2019 的论文接收结果?有哪些亮点论文?
https://www.zhihu.com/question/336194144/answer/758560475

What is系列

在上一个被疯狂吐槽的顶会IJCAI里,有这样一个审稿意见成为了坊间传说:

What is Softmax

https://img1.sycdn.imooc.com//5d41867a000131f405610576.jpg

在NeurIPS 2019的审稿意见中,“What is”家族再次壮大,有知乎网友表示,审稿人是这样问自己的:

What is ResNet

啊,这可真是个好问题啊,简直令人窒息。

https://img1.sycdn.imooc.com//5d41868300014ef802260266.jpg

这位网友的遭遇并不罕见,还有人遇到了这样的灵魂一击:

What is Distillation?

在SoftMax被点名的时候,谁能想到它还有这么多兄弟?

https://img1.sycdn.imooc.com//5d4186b40001a86802850271.jpg

不过也有网友指出,这么问不一定是审稿人不知道这些概念,他们很可能是在提醒你引用/解释不到位。毕竟做好工作很重要,但也不能忽视论文写作本身。

这其实也是一个提醒,文章introduction要写好,引用也要规范哟。

顺便问一句,就没有人碰上满意的评审么?

其实也是有的,比如:

https://img1.sycdn.imooc.com//5d4186be0001e44f10801175.jpg

NeurIPS到底有多玄学

对于学术界来说,会议审稿和接收程序的逻辑一直备受关注。

毕竟,论文能不能中顶会,对研究人员的职业生涯来说还是非常重要的。

那么NeurIPS的审核过程到底说不说的上是玄学呢?

早在2014年,德州大学奥斯汀分校的助理教授Eric Price就做了个实验,结果发现NIPS的录取模型比想象中更随意。

https://img1.sycdn.imooc.com//5d4186e90001e98506920420.jpg

在这个实验中,Eric和他的胖友Jacob Abernethy讨论出了一个“噪声得分”模型,大概是这样的:

每篇论文通常会有3个review,评分为0-10。所以在模型里,每篇论文都会有一个从某个分布中得出真实得分v(比如N(0,σbetween^2),和从N(0,σwithin^2)中提取的review。

根据NIPS的审稿规则,录用结果就是σbetween^2 / σwithin^2的函数。

如果σwithin^2介于1到4倍的σbetween^2之间,那么结果就是这样:

https://img1.sycdn.imooc.com//5d4186f000017b8506490407.jpg

无独有偶,KDD 2019(知识发现与数据挖掘国际会议)的Research Track中有一篇论文也关注到了审核流程中随机性的问题:https://arxiv.org/abs/1905.11924

论文中不中,有时候可能真的是玄学。评审不专业,评审自己也很绝望啊,要怪只能怪论文匹配算法不够机智吧。

https://img1.sycdn.imooc.com//5d4186f600012d5302370253.jpg

One More Thing

每一次投稿顶会都是一场奇妙的冒险,可能会遇到千奇百怪的review,也可能在观点的碰撞中有所收获。

MXNet创始人李沐大神曾经在文章中写道:

之后想了想,一篇好文章自然需要有足够多的“干货”,或者说信息量, 但一篇能被接受的文章需要满足下面这个公式:

文章的信息量 / 文章的易读性 < 审稿人水平 * 审稿人花的时间

对于机器学习会议,因为投稿量大,所以审稿人很多自然平均水平就会下降。而且很多审稿人就花半个小时到一个小时来读文章,所以公式右边数值通常是很小,而且不是我们能控制。”

之前,NeurIPS 2019投稿平台就被挤爆,投稿数量达到了6809篇,与2018年相比增长40%。五月底截稿,七八月就要给出结果,审稿人也是鸭梨山大啊。

所以,吐槽归吐槽,坚持自己的工作,拿出更多的干货,才是以不变应万变之道吧。

参考资料:

NIPS实验:
http://blog.mrtz.org/2014/12/15/the-nips-experiment.html

李沐《博士这五年》
https://zhuanlan.zhihu.com/p/25099638

Reddit高赞Rebuttal模板:
https://www.reddit.com/r/MachineLearning/comments/cjtmi8/d_what_id_like_to_write_in_my_neurips_rebuttal/

如何评价 NeurIPS 2019 的审稿情况?
https://www.zhihu.com/question/322139752/answer/761895242

—  —


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消