FightingCV

V1

2022/10/01阅读:24主题:默认主题

科研有很水的idea应该发表出来吗?

科研有很水的idea应该发表出来吗?

【写在前面】

就是只能发EI,水会,OA SCI期刊那种,自己看到都觉得很垃圾的idea,有发表的价值吗?

来源:https://www.zhihu.com/question/372648294[1]

作者:小侯飞氘

我觉得很多人有个误解,认为科研工作的质量主要取决于原始idea的质量。

实际上,idea固然重要,但它通常不是拍脑袋一瞬间想出来的,而是在无数痛苦的试错和思路修正中,打补丁打出来的。一项工作到最终发表的时候,原始idea[2]多半已经被改的连它妈都不认识了。

所以,决定论文最后是否能发表的,往往不是初始idea的质量,而是你在试错过程不断修正idea的努力。

自己现身说法一波吧,我博士课题的心路历程大概是这样的:

  • 老板:你看XXX大饼,啊呸,那个XXX方向不错,人家类似的文章都发子刊了(2004年的,最近十几年都没啥好成果...)

  • 调研文献,好像要自己写模拟软件,于是吭哧吭哧撸了半年代码,并用它水了篇小论文

  • 撸出来后,发现天花板封上了,地基反而没打好,压根没有底层物理模型,于是转移重心开始推模型

  • 重新调研文献,发现物理核心是XXX。哎这玩意好像没人算过,觉得可以做一做

  • 算半天发现结构太复杂,需要的计算量是个天文数字——靠,原来是个大坑,怪不得没人做

  • 毕竟也算了几个特例,好像也能写个小论文?不管了先水几篇攒够毕业标准再说

  • 整理论文的时候发现,哎,这部分数据好像有点规律?好像能给出个通用公式?——我简直就是个天才,水个球的论文,我要发顶刊!!!

  • 猜想物理规律可能是XXX,重新设计模型进行计算

  • 靠,猜想和结果南辕北辙[3],原来我是个蠢材,大侠请重新来过

  • 妹的,这个猜想50年前已经被证伪了,留下了不学无术的泪水,大侠请重新来过

  • 妈个鸡,程序里好像有bug,这批数据是白算了,大侠请重新来过

  • ......

  • 不断修正思路,迭代N次之后,终于改出个普适的物理模型,初步验证一下效果好像还不错?

  • 把结果拿给老板看,一通乱批:这个地方不对,那个推导不严谨,这个图需要补点数据

  • 老板说要aim high, dream big,再补点宏观模拟,找几个实验对比,图要fancy一点,故事要sexy一点——此时我已经躺平任艹了,爱咋咋地吧

  • 跟老板斗智斗勇N轮,打了N个补丁之后,终于有了个成体系的成果,可以投稿了

  • 被拒

  • 不服,补了十来个图,rebuttal

  • 审稿人A:这结果还凑合,可以发表了;审稿人B:垃圾玩意也敢rebuttal?接着拒

  • 编辑:喂你们两个能不能统一一下口径,算了我再拉个审稿人C仲裁一下

  • 可能是因为昨天扶老奶奶过马路攒了点人品,审稿人C居然对我一顿猛夸,小修几轮后总算发表了

回过头来看,最初的idea就好比告诉你,北边的森林里有食物。这个食物可能是深林边缘又酸又涩的树果,抬手即可轻松摘得。但也可能是深林深处的野味,需要跋山涉水浴血奋战,甚至得绕道从南边迂回才能抵达。

一图胜千言[4]版本\[1\][5]

作者:遇刺

想从审稿人[6]的角度分享下自己的看法。这两年通讯作者的文章发的多了,被邀审稿的次数也越来越多了,所以多少对这个问题有了点自己的思考。准备拿19年审的两篇文章作对比来阐述。

以前读博的时候经常看到国外大牛实验室发的文章水的一B。每次都想破口大骂,这TM的啥玩意也能发出来?那时候总是归咎于「学术不公」。认为资源不对等,国外的实验室相互抱团「就跟大V[7]相互点赞引流是一个意思」。当时就想,哪天老子当了审稿人,灌水的文章一律扔厕所,审稿意见第一句就给他「This is bullshit!」。

但是现在看法慢慢的在变了。

首先扣下题。「水」的意思是什么?

题主说「科研有很水的idea」。那么首先是有idea。不管你自己多么嫌弃自己的idea,那也是idea。我个人认为:没有水的idea,只有水的文章。这是两个概念。下面慢慢说为什么。

19年审的两篇文章一个是投在IEEE旗下某刊。刊物是传统好刊物,也有很多很不错的文章,这两年被新的期刊挤得好像影响力有点下降,但 IF 还是有 1.3 呢。另一个是 New Journal of Physics (IF3.8),影响力高一些。

IEEE

IEEE这个来自国内西北某双非不知道几本大学。我当时看到文章来自国内高校还是很高兴的。我对我们这个领域可以说非常了解,所以我知道这个学校是没有相应的实验条件的,因此这个文章是理论加数值模拟[8]。文章是LaTex排版好的,这一点我很喜欢。但是一细读就不是那么回事了,我几乎立马提笔写审稿意见,必须得拒掉啊,写的太烂了。读了个摘要和introduction就想拒掉,那得有多少槽点。英语烂的不行,我一个习惯中式英语[9]表达方式的中国人都看的懵逼。我估计直接用google翻译都能写的更好一点;文章结构不合理,东一句西一句,感觉写的非常随意「我审稿意见是用的 casually,你的审稿意见[10]里要是有这个词你一定要注意」;图很多,但基本是一条曲线一个图,很多曲线其实放在一起对比反而更直观。很多热图竟然没有colorbar。

总之就是写的很烂。但是请注意我始终没说这个文章很水。反正硬着头皮读下来还是有点东西。实际上这点东西也是在国外大牛实验室的基础上改进的。你要说抄袭吧,不是,有点东西;你要说原创吧,也基本上是非常trivial的;而且还只是个模拟文章,能不能做实验还不好说。另外,我专门搜了下这个团队。文章的通信作者大老板水平还是可以的,也有欧美留学经历,我专门读了他的文章,英语绝对没问题。因此这个文章大老板肯定是没看的。因此就行文和创新性而言,拒掉这个文章无可厚非。

NJP

NJP这个很有意思。我是在ArXiv上看到这个文章的,因为跟我的方向有点相关就细读了下。写的很不错,整体给人的感觉是精品。idea不错,文章写得也很好,图画的很漂亮。而且来自UCSD的大牛实验室。最重要的是我有一篇文章刚好可以引用这篇文章来做理论支撑。隔天我就收到了NJP的审稿邀请。我当时想文章都已经读过了,审稿意见肯定好写,原则上推荐小修后发表就是了。

因此没有意外的话,IEEE 拒掉,NJP 推荐接收。然而,这两篇文章在我手里的命运恰恰相反。

IEEE 这个文章是博士生第一作者的。所以我觉得要慎重一点。这个第一作者也是面临毕业的人了,但是课题组的publication list里面没看到他一作的文章。我多少有点恻隐之心。于是拼命的给这个文章找亮点。这也真是难为审稿人了。我必须承认这个文章的idea不是很亮,写的也很烂。但是如果能把技术性的问题解决「英语,逻辑,图片等」,这个文章可以不水。因此我写了审稿意见。我既不想把文章拒掉,又不想让作者觉得他们写的很好以至于不好好修改。于是我写了28条意见,除了技术性的以外,我明确指出这个文章写的不好,工作的意义也不大,不建议发表。同时又给编辑私信,我并不想拒掉这个文章,只要作者能解决我提的意见,原则上还是可以推荐发表的。所以这个文章现在已经是第三轮审稿结束了,文章也确实改进了很多,估计很快就发出来了。

NJP 那个被拒了。那个文章通信作者跟我们小老板有很多年的合作,我们开会也经常碰到,而且我还跟他有一篇同时挂名的即将发表的文章。可还是被我拒了。因为我又读了一遍那个文章。明面上没有任何问题,经得起任何推敲。但问题就出在参考文献上。参考文献里出现了几篇他们自己的文章。我就一并都细读了下。参考文献里的某一篇的参考文献我也顺带读了下。那么问题就来了。我本来觉得这个NJP文章的idea很好。读了他们自己的文章,idea早就被他们自己发表了,而且是发在顶级物理学期刊PRL上「我事先没看过的」,因此我一开始才觉得idea很好啊。可是现在idea没了!创新性没有了,那文章就很水了。更可气的是,这个NJP文章里的一个关键技术是来自共同作者几年前发表的PRL「我是从参考文献的参考文献发现的」,但是没有被引!自己的工作自己都不引?我只能说要么这个第一作者不了解本领域的研究状况,要么这个共同作者没读过这个文章。这个第一作者也是博士生,但对不起,原则问题该拒还得拒。当然我不是唯一的审稿人,另一个审稿人的意见也是negative,所以这个看起来很漂亮的文章只能在ArXiv里躺着了。

总结下,自己认为很水的idea没有关系,都有发表的价值。万一能给别人帮助呢?关键是文章不能水。文章不水的意思是,这里面得有你自己的干货。至于别人认为意义大不大先不考虑。期刊杂志不一样也分个三六九等吗?故事要讲好,逻辑理通顺。图画的认真点。英语多改几遍「因为英语让人拒掉就太亏了吧」。

另外,水不水也得分你处在哪个阶段。研究生能有idea就不错了。想啥呢?能发就发啊!当然,如果你已经功成名就,还是爱惜下羽毛吧。毕竟reputation[11]建立起来不容易,别让自己给砸了。

作者:Climber.pI

这个事情见仁见智吧。我只讨论纯理论学科,不包括实验甚至工科。这两周刷 arXiv 有点感受。

去年年初(当时的)导师主动跟我聊了一次,说你得 shooting high。举例说 Muli Safra 曾经在某个时刻跟她说,一个人做的工作的层次,大抵就是他/她在 PhD 期间的工作的层次。稍微想想会发现确实是这样,成名的 faculty[12] 们的代表作通常至少有一篇是 PhD 期间或者博后早期的工作。譬如 Muli Safra 的代表作是 PCP 定理,理论计算机科学的最高(论文)奖之一是 Godel Prize,从上世纪九十年代初开始发,PCP 定理相关的结果拿了三次。而这个结果就是他在博后早期的工作,跟他合作的 Sanjeev Arora 当时还是博士生。

然后导师又说,你看你前面那个结果写论文写了这么久。通常情况下如果做 research 的时间是 90% 的话,那么写 paper 的时间也是 90%。而且如果想写得清楚的话,写小结果和 high-impact[13] 的结果花的时间并不会差太多。但是一个人的时间是有限的,只是单纯的跟进前人的结果很多时候没太大价值。题外话是我导师有若干篇工作就挂在 arXiv 上,没在正式会议/期刊上发表,有些都看得出来没怎么打磨;发表的工作有七八成都在那两三个顶会上,甚至看起来有点洁癖。

最后导师又说,你得想清楚哪些问题是有意义的,哪些问题只是细枝末节。然后你要说服自己那些有意义的问题是值得做的,原因并不是说问题很出名,或者在解决的技术很有意思,而是要有自己的理由和判断——即使很多人都不认为这个问题有意义,但是你应该知道它的意义是什么。总是做 follow-up 并不是很有意义(补:middle-stage research 有时候看起来也像 follow-up,但是不见得不如所谓的 initial-stage research)。无独有偶,去年有跟某位拿过顶会最佳论文奖[14]的老师介绍我的结果的时候,他也说过类似的话,只是对已有的结果有新的看法是不够的,要有新的想法。

顺着继续想的话,不难意识到这就是为什么很多时候 publication 是个浅薄的标准(至少在我所在的领域里):

  • 有的人看起来文章不少,东一榔头西一棒子,都是对不同问题的小幅改进,全然没有新想法可言;

  • 有的人文章不多,但几乎是某个问题的主要技术的开创者(或者早期应用者),提起这个问题/技术,这个人会是大家最先想到的几个名字之一。

前者常见于那些一个问题半个组上阵的组,导师手上 project 不断,学生们也乐得稳定不断输出 paper,但是毕业之后独立工作需要适应时间(如果适应得来的话)。后者常见于欧洲或北美在 top group 里能活下来的 PhD,其中一些人会是后来公认的 rising stars[15]。也有一些人看起来博后期间的工作的质量和数量都比 PhD 期间高不少,但是仔细看他们的 PhD Thesis 往往能看出端倪,他们后来的工作也和早期的积累有一定的连续性。

我觉得吧,在读 PhD 大概能有下面几类:

  • 最好的学生在读 PhD 的时候,跟自己的导师就已经是合作者的关系,甚至自己找题目带着导师搞 research,譬如去年拿 F会 best paper 的某位;或者自己独立作者,把导师出于礼貌放在致谢里。

  • 再次一些,也应该是把导师当成字面意义上的 advisor,作为领域内的顶尖专家能根据自己的经验和大局观(包括对不同问题之间的深刻理解)对你给出精准建议。做的很好的人多是这层和上一层的叠加态[16],很多时候选题都靠学生自己。

  • 更次一步,那就是导师给出已经整理地比较清楚的问题,甚至还有几乎可行的大致思路,然后自己摸索着做出来。大多数人做的还过得去的人都是这层和上一层的叠加态,选题很大程度上依赖导师。

  • 再不济那只有手把手带着做了,包括但不限于导师亲自带,或者组里更 senior 的人亲自带。学生之所以能参与这个项目的主要原因是,其他人懒得写 paper 或者做繁杂的计算/证明。但是说句不好听的,这一般是带本科生体验 research 的套路。

所以有小结果应该写出来发表吗?如果在做的主要的问题都推进不动的话,花一些时间把已有的小结果写出来,并且试着发在一些地方很正常。只是要搞清楚孰重孰轻,当年 Andrew Wiles 不也是积攒了一串(在他的标准下)没那么大的结果慢慢发。不然很可能生存不下去——不是每个人都能在一个问题是砸上六年,然后退而求其次稍微调整方向,一两年时间搞出来一串 breakthrough 的。

【项目推荐】

面向小白的顶会论文核心代码库:https://github.com/xmu-xiaoma666/External-Attention-pytorch[17]

面向小白的YOLO目标检测库:https://github.com/iscyy/yoloair[18]

面向小白的顶刊顶会的论文解析:https://github.com/xmu-xiaoma666/FightingCV-Paper-Reading[19]

【技术交流】

已建立深度学习公众号——FightingCV,关注于最新论文解读、基础知识巩固、学术科研交流,欢迎大家关注!!!

请关注FightingCV公众号,并后台回复ECCV2022即可获得ECCV中稿论文汇总列表。

推荐加入FightingCV交流群,每日会发送论文解析、算法和代码的干货分享,进行学术交流,加群请添加小助手wx:FightngCV666,备注:地区-学校(公司)-名称

参考资料

[1]

https://www.zhihu.com/question/372648294: https://www.zhihu.com/question/372648294

[2]

原始idea: https://www.zhihu.com/search?q=原始idea&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra={"sourceType":"answer","sourceId":1168231515}

[3]

南辕北辙: https://www.zhihu.com/search?q=南辕北辙&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra={"sourceType":"answer","sourceId":1168231515}

[4]

一图胜千言: https://www.zhihu.com/search?q=一图胜千言&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra={"sourceType":"answer","sourceId":1168231515}

[5]

[1]: #ref_1

[6]

审稿人: https://www.zhihu.com/search?q=审稿人&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra={"sourceType":"answer","sourceId":1173375274}

[7]

大V: https://www.zhihu.com/search?q=大V&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra={"sourceType":"answer","sourceId":1173375274}

[8]

数值模拟: https://www.zhihu.com/search?q=数值模拟&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra={"sourceType":"answer","sourceId":1173375274}

[9]

中式英语: https://www.zhihu.com/search?q=中式英语&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra={"sourceType":"answer","sourceId":1173375274}

[10]

审稿意见: https://www.zhihu.com/search?q=审稿意见&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra={"sourceType":"answer","sourceId":1173375274}

[11]

reputation: https://www.zhihu.com/search?q=reputation&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra={"sourceType":"answer","sourceId":1173375274}

[12]

faculty: https://www.zhihu.com/search?q=faculty&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra={"sourceType":"answer","sourceId":1030162221}

[13]

high-impact: https://www.zhihu.com/search?q=high-impact&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra={"sourceType":"answer","sourceId":1030162221}

[14]

最佳论文奖: https://www.zhihu.com/search?q=最佳论文奖&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra={"sourceType":"answer","sourceId":1030162221}

[15]

rising stars: https://www.zhihu.com/search?q=rising+stars&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra={"sourceType":"answer","sourceId":1030162221}

[16]

叠加态: https://www.zhihu.com/search?q=叠加态&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra={"sourceType":"answer","sourceId":1030162221}

[17]

https://github.com/xmu-xiaoma666/External-Attention-pytorch: https://github.com/xmu-xiaoma666/External-Attention-pytorch

[18]

https://github.com/iscyy/yoloair: https://github.com/iscyy/yoloair

[19]

https://github.com/xmu-xiaoma666/FightingCV-Paper-Reading: https://github.com/xmu-xiaoma666/FightingCV-Paper-Reading

分类:

人工智能

标签:

人工智能

作者介绍

FightingCV
V1

公众号 FightingCV