世界今頭條！AI論文中的novelty如何評價？詳情介紹

如何評價AI相關論文中的novelty，什么樣的工作才可以不被稱為“novelty is limited”？

【資料圖】

電光幻影煉金術（香港中文大學 CS Phd在讀）回答：

這是個好問題，也是我第一次被噴novelty is limited+reject之后折磨了我幾個月的問題。

為什么novelty的問題這么讓人難受

難受點1：novelty問題沒法給我有用的梯度，讓我改進工作。比如說，我哪個實驗做得不好，做得不夠，比較地不公平。這些都可以很快地加以解決，解決思路幾乎是不言而明的。但是如果審稿人/老板噴novelty的問題，我該怎么變novel呢？這個就沒那么容易了。創新其實是蠻難的。

難受點2：novelty問題往往看上去是全盤否定，做了幾個月的工作，最后拿到的意見就是沒有novelty，看上去就像是否定了整個項目的意義，感覺幾個月甚至一年做的啥東西都不是。

難受點3: 剛開始做科研的時候，往往覺得自己創新點特別多。很多做科研的同學，本科都是佼佼者，或者都是認真學習的，自然能發現很多新問題，提出很多新解法。我作為當年做競賽的同學，也是喜歡做新問題的。但是第一次吃了頂會的reject，是因為不夠創新，看上去又確實不夠創新，讓我感覺我“覺得自己很會創新”的信念受到了打擊。

怎么客觀定量衡量novelty

novelty這個問題本身是有一定主觀性的，就現在的投票決定中稿而言，想要中頂會不能有一個審稿人覺得novelty嚴重不足。novelty如果有問題，可能就意味著洗稿等學術不端問題，是嚴重的（盡管可能我們是獨立地把一個工作做了一遍）。

衡量novelty，最重要的是憑審稿人的感覺。這是讓科研區別于工程的一個重要不同，科研是一種文化的傳播，不是像工程一樣做計算和復現。啥叫做文化，維基百科定義，來源于古羅馬哲學家西塞羅使用的拉丁文“cultura animi”定義，原意是“靈魂的培養”，由此衍生為生物在其發展過程中積累起跟自身生活相關的知識或經驗，使其適應自然或周圍的環境。一言以蔽之，novelty的衡量主要靠審稿人的直覺、知識或者經驗。

那么novelty是不是不可以衡量，不可以說道理的呢？也不是，畢竟交大的博士學長已經證明了，相聲的笑果都可以用公式建模呢。

本文簡單使用一個公式（下面稱為novelty公式）：

Novelty=基礎分+正分-負分

以10分為上限的衡量系統為例，基礎分是5分，5分算拒絕，6分以上算接受，越高越好。

正分加分項：

提出了完全全新的問題，真的別人沒研究過，而且不是“茴香豆的茴有幾種寫法“這種無聊的問題。新的越本質加分越多。

提出了顛覆前人理解的新結論。比如vit。

提出了一個全新的，很好用的，很本質的概念。比如fasterrcnn里的anchor。

有全新的、重要的實驗發現。比如樂透猜想。

提出了一個全新的更好的解決辦法。雖然大多數論文都在搞這個，但是這個是最難加分的，因為新意很難體現。一個普遍的衡量方式是估計代碼的復雜度，因為審稿人都會碼代碼。如果說這個東西復現就是在原有代碼上加一兩行，那多半不行。

負分減分項：

文章中概念都是很舊的，特別是標題里。比如標題是“一種比LSTM更好的時序建模方法”，我不否認確實LSTM現在還有提升的空間，但是LSTM本身是13年的工作（上世紀提出，13年谷歌用于機器翻譯），后面提升LSTM的工作太多太多了，這個標題可以套用在很多方法上，感覺是18-19年穿越過來的，沒有新意。

單純的應用型文章。比如標題是“solving XXX via cnn"看上去就不是很好。當然如果文章做的特別好，不是簡單地拿來用，也是可以的。

單純地A+B。比如發現兩個模塊非常好，然后把他們放在一起水一篇新的，這樣看上去就很容易被懟。

實驗效果跟之前的沒啥差別，比如漲了0.1%。那就是說跟之前的沒本質區別。

衡量novelty的常見主觀錯誤：

resnet的新意在第三點，提出了新的本質概念：短路，而且通用有效。不代表加幾行代碼的一定就可以算novel。事實上大部分novel的發現都需要很多代碼。

目前審稿人很可能來自于不同領域，最好是能用通俗易懂的方法讓不同領域的人明白。

方法是方法，novelty是novelty，要一針見血地指出來novelty在哪里，而不是一大段不novel的贅述，讓審稿人也不知道哪一部分是已有的，哪一部分是提出來的。

就大部分實驗型的文章來看，不漲點的算個減分項，如果沒有其他加分項，就算不novel。另外本文只討論是否novel，現在“中稿是隨機過程，好文章不一定被接受，但壞文章總是被拒絕”（李飛飛的話）。

根據上面公式可以看出，idea只占很小的一部分，可以有很多不同的方式突出novelty。

怎么解決novelty的問題

1.多讀文獻加總結是科研有突破的重要途徑。建議從早期的文章開始讀，讀的時候想象自己穿越回當時，能不能發現問題在哪里，有沒有什么新的想法。然后再找后面的文章查對一下，看看自己的想法對不對。通過這種方式促使自己學會發現問題，找到創新點。

2.多閱讀一些專業的審稿意見，訓練自己的鑒賞能力。很多未解決的問題都能從審稿意見中發掘出來。歡迎關注我的系列視頻欄目「從審稿到中稿」，帶大家從審稿意見中發現問題，最終實現中稿。

3.多讀讀arxiv，最好培養定期翻看arxiv最新文章的習慣。很多厲害的文章都會先放在arxiv上，而做研究掌握一個好的timing至關重要，早點入局就能搶到先手。另一方面，arxiv上很多文章做的不夠好，問題沒做完，自己多想想努力一下就能有更好的結果。當然別忘了引用arxiv的文章并討論區別。

4.培養自己對科研問題的格局把握，具體說，判斷一個問題是三個月之內可以解決的，還是三年可以解決的，還是三十年也解決不了的。不要憑自己的主觀臆斷來判斷，多看看大佬怎么說。如果很多大佬都覺得一個問題三年之內可以解決，并且很有趣，那么就是一個很好的入手問題。

5.有人說，看到很多論文準確率都很高了，不知道該咋辦。這是個新手非常常見的問題，我想引用一個著名的比喻來回答。一個問題的模型，就好比一架很復雜的波音飛機，有幾百上千個按鈕，有的重要，有的不重要。你現在看到的，就好比看到有那么一架飛機飛的很快。但是更有意義的問題是，你對這架飛機的性能完全了解嗎？哪些部分是真正起作用的？能不能造一架更簡單但是飛的更快的飛機？如果不能，瓶頸在哪里？這架飛機是不是足夠魯棒，在任何條件下都能飛得很好？

6.有人說準確率已經很高了，比如說達到了95%。一個事實：如果把5%的錯誤樣本拿出來構成一個數據集，那么它的正確率將是0%。

所以關鍵不在準確率多高，而在失敗的樣本是不是重要。在真實的自動駕駛或者機器人中，有1%的失誤可能會導致很快報廢。

7.永遠關注交叉領域或者新領域，并大膽提出新想法?？赡苄孪敕〞涣硪粋€領域的人爆錘，不要灰心，這是常態，并不要怕碰壁成為作為阻止你學習的理由。不要自己給自己設置壁壘。

8.可能導師會覺得研究另一個領域會投入很多資源（比如算力或者他開會的時間），但是他擋不住你學習另一個領域的論文。資源可以受限，但是思想不會受限。特別是一個領域的突破性進展，往往可以影響其他領域。

9.把卡住自己的問題記錄下來，之后會有意想不到的影響。我跟swin transformer(今年獲得了比best paper很難得的馬爾獎)的作者聊過，他們是怎么想到swin transformer的？他們說，之前就有想過把self attention替換cnn，但是瓶頸是計算量會大很多，看到谷歌出了vit，算的很快，解決了他們之前的瓶頸，就是self-attention也可以很快還很好，這樣他們就產生了swin的想法。

10.人的創造力是無窮的，科研更多是一種文化，比賽才要刷點。比如同一屆的會議有很多論文在imagenet上點數都差不多，但是都各有亮點。百花齊放，百家爭鳴，而不要內卷。

11.多復現一些代碼，很多論文都是表面好看，實質代碼一跑就有很多問題。

12.歷史是會循環的，舊的領域的突破往往可以適用于新的領域。因此多看看經典論文很有幫助。

13.要掌握一門到兩門可以泛化的，經過大量事實驗證有效的方法論。舉個例子，比如加速計算的cuda編程等一系列方法，在不同的領域都可以試用。

14、很多好的idea都是在討論和碰撞中產生的。盡量多和研究者討論，方式不限于

（1）實驗室交流

（2）參加討論會或者研討會

（3）微信群組討論，可以看評論區加入我的討論群

（4）參加一些國際頂級學術會議，不需要發表論文也可以參加

（5）網上看workshop的錄像

15、沒有比較就沒有傷害，把同一個頂會做同一個任務的論文放到一起，高下立判。

16、想到什么好的idea，馬上去試，不要猶豫。沒有不好的idea，只有不明確的idea。

17、如果單個數據集不能做好，嘗試做更多數據集，甚至是跨領域數據集。小數據集上有用的，不一定大數據集有用。

多謝大家點贊～關于更多利用統計信息分析審稿過程，請關注我的視頻連載欄目《從審稿到中稿》。

Simon Jia 回答：

Novelty在于Difference，在于Advance。

Novelty在于你的動機Motivation，你Diss（當然不要說得太直白）哪些工作。

對于某一個研究領域，假如此研究領域有3大類方法，每一大類方法中又有很多此類的代表作。

如果你的Motivation僅僅是Diss某一類方法中的某一種方法，這就是小的Novelty，你僅僅是針對這種方法做了一個Incremental的工作，但這也是有Novelty。

如果你的Motivation是Diss某一類工作，那你的Novelty比較充足。

如果你的Motivation是Diss此領域中的所有工作，你的研究為此領域帶來了New Insight（例如機器翻譯中提出了Attention），推動了此領域的發展，是Revolutionary的工作，那你的Novelty非常充足，足夠嘗試各種頂會頂刊。

從上面也能看出，你要想能夠快速（5min之內）評價一項工作的Novelty，你首先得對此領域非常了解，只有這樣你才能看出Difference。所以剛開始研究一個領域或者問題的時候，基礎要打好，多讀論文、多總結，這樣你才能摒棄一些不切實際的IDEA，你才能評估自己工作的Novelty，將自己的工作賣個好價錢。

另外一種Novelty是你直接開辟了新領域，挖了新坑（例如提出了聯邦學習、提出了元學習、提出了Manifold），這絕對是有Novelty，你可能成為這個新領域的祖師爺，但一般你要達到一定境界才能做出挖坑級別的工作。