http://www.nulj.cn

首页 所有文章 归档 留言 关于我

ICLR论文作者最后的绝望:DDL最后一小时,评审让提交一份实验_AI科技评论

编辑:李靖2020/8/30993次阅读阅读转载: AI科技评论
作者 | 蒋宝尚编辑 | 青暮11月11日凌晨,ICLR 2021初审结果在官网公布之后,就正式进入了Rebuttal阶段。根据往年数据分析,如果论文接收率为20%,那么论文平均分数要达到6分以上才能被接收。 因此,许多投稿作者非常珍惜Rebuttal的机会,因为有不少“低分”作者成功靠着Rebuttal完成反杀。在Rebuttal阶段想要反杀必须满足两个因素:1.文字态度良好;2.有理有据。态度好意味着,尽量接受评审的修改意见,有理有据意味着,论文所讲述的“故事"有足够的逻辑。但是,今日一位作者接到了让他无比头疼的修改意见:重新进行实验。如果时间充足,想必这个要求也没什么,但是这时只离Rebuttal结束只有1个小时了。也就是说,如果作者在一个小时之内,完不成新实验,那么他这次的ICLR 2021之旅基本上就凉了。作者特别苦恼,在reddit上将整个过程讲述了下来,并表示:ICLR真是烂,以后再也不给它投稿了。我们有篇论文的研究在几个基准上实现了SOTA,我们向ICLR提交了这篇论文。之后,就收到了4个评审意见,大部分意见要求进行消融研究,以及关于超参数设置的细节询问。这些意见非常正常,一点毛病都没有,真正有趣的事情发生在Rebuttal阶段:

1.有一位审稿人坚持认为我们引用了前一篇论文的错误实验结果,因此,表示论文中的比较是不公平的。如果审稿人相信我们,他完全可以查看前一篇论文的结果和设置,如果仔细点,这位审稿人就会发现,我们引用的数字和那篇论文中有的完全一样。也即并没有引用错误实验。

随后,我们用“前一篇”论文的原话回复了评审,评审给出的回复仍然是:“不公平的比较”。显然,评审忽略了前一篇论文的结果。2.另一位评审要求我们进行消融实验,并和不使用A技术基线进行比较。我们照做了。此外,我们还增加了10个变体的消融研究。然而,在Rebuttal阶段结束的前一个小时,这位审稿人又提出了新的要求:做一次基线 + A - B比较,理由是:我们附加的消融研究涵盖了去除技术B的情况。通常来说,做一个消融实验往往需要一天的时间,审稿人或许也知道1个小时是不可能完成实验的。所以,我认为这只是他拒绝我们论文的借口。退一步看,即使我们完成了实验,这位审稿人可能还要我们进行2^10个变体实验,然后让我们继续比较。这有什么意义呢?我非常生气,我参加过许多AI/ML Confs、ICML、NeurIPS等会议,这次的ICLR是最糟糕的一次。虽然,我也明白当前AI顶会大多数评审的情况,但是4个评委里有两个能提出这样的求......ICLR不值得,我以后不会再往这个会议中投递论文了,大家也把好的研究投递到真正“值得”的顶会吧。1

另一个“Rebuttal”现场:reddit

这篇小故事,在Reddit引起了热议,有给这位作者支招的,也有分析评审意见的。例如一位网友称:赶快给领域主席发邮件!越快越好!

作者回复:

我们已经反馈了,我明白领域主席非常忙,毕竟现在他们有非常多的意见要看。

另一位网友附和:

没用的,主席站在评审那边。

还有网友称,作者可能误会评审的意见了,或者评审没有清晰的表达自己的意思。另外,评审确实比较忙,他们需要在ICLR上审核其他几篇论文,还有全职工作要做,可能回复不会很及时。再者,SOTA在科学上也不是一个有趣的结果。实际上,你必须发现一些有趣的、可概括的、有影响力的东西,才能让你的论文值得发表。

听话听音,这位网友大概率是评审、或者当过评审。作者回复:1.自五天前的第二次答复之外,我们再也没收到评审的答复。2.完全同意SOTA不够有趣的观点,但我们的论文提出了一种从来没有研究过的新方法啊!再者,评估所用的基准是这个问题最常用的基准。还有网友表示:ICLR并不是头一次这么干,你并不孤单。

作者回复:

上线事实核查或反驳进度跟踪工具非常有必要。这篇帖子下的最后一个评论说道:我的审稿人在截止日期前5小时给了我回复,并给出了一个不正确的反例,贬低了我论文中推导和证明。我早料到他/她会这样做,所以能给他/她一个详细的回复,“论证”他/她的胡说八道。另外,我还在考虑给领域主席们发邮件,告发他们这种行为。2

吐槽大会

本次ICLR 2021一共有3013篇论文提交,其中有856篇论文是来自NeurIPS 2020 Rejection 之后重新提交的。回忆去年ICLR 2020的审稿,可谓是吐槽与争议不断。比如,一篇ICLR 2020的论文在拿到满分评价后,其他的两位审稿人又连续给了2个1分评价,还有的论文三位审稿人均给出了6-6-6的高分,但区域主席却做出了不适用自己论文的评语。另外在去年的时候,南京大学周志华教授曾曝出:ICLR 2020竟然有47%的审稿人从来没有在本领域发表过论文。后来周教授又指出:开放评审进当参与者都是相当level的专家才有效,否则更容易被误导。学术判断不能“讲平等”,一般从业者与高水平专家的见识和判断力不可同日而语,顶会能“顶”正是因为有高水平专家把关,但现在已不可能了......参考链接:https://www.reddit.com/r/MachineLearning/comments/k0up7e/d_awful_iclr2021_experience_asking_authors_to_do/

“CCF-NLP走进高校”是由中国计算机学会自然语言处理专业委员会(CCF-NLP)发起,联合AI研习社及各个知名高校开展的一系列高校NLP研究分享活动。

“CCF-NLP走进高校”第四期将走进“新疆大学”,一起聆听新疆大学NLP的前沿研究分享。本次活动邀请的嘉宾有哈尔滨工业大学(深圳)教授徐睿峰、清华大学计算机系长聘副教授黄民烈、天津大学教授熊德意、复旦大学教授黄萱菁、新疆大学教授汪烈军、西湖大学特聘研究员张岳。敬请期待!

点击阅读原文,直达直播页面

感谢阅读,如果觉得本文对您有帮助,请给我点个,或者把本文的网址复制分享其它好友。
本文网址:http://www.nulj.cn/k/1582.html复制
写博客不容易,服务器成本也很高,感谢谢支持。微信打赏红包

发表评论

李靖的博客

大家好,我是李靖,不是封神榜的托塔天王李靖。我只是一个普通的上班族,1991年出生于湖南邵阳市。我喜欢看书/看电影/摄影/打手游。感谢你访问我的博客,我在博客中会经常分享我喜欢的文章。创建这个博客记录生活,让我学会很多知识也认识了很多朋友。
关于我的更多资料>>

支持博主

写博客不容易,服务器成本也很高。您可以用微信给我发个小红包。疾风知劲草,板荡识诚臣。你的支持就是我的动力。谢谢!

推荐阅读

垃圾信息处理邮箱tousu117@163.com icp备案号 粤ICP备10034762号 互联网安全管理备案 不良信息举报平台 Copyright 2021 www.nulj.cn All Rights Reserved