借助正確的構建塊，機器學習模型可以更準確地執行欺詐檢測或垃圾郵件過濾等任務。

神經網絡是一種機器學習模型，正被用于幫助人類完成各種各樣的任務，從預測某人的信用評分是否足夠高，有資格獲得貸款，到診斷患者是否患有某種疾病。但研究人員對這些模型的工作原理仍然只有有限的了解。給定的模型是否適合某些任務仍然是一個懸而未決的問題。

麻省理工學院的研究人員已經找到了一些答案。他們對神經網絡進行了分析，并證明它們可以被設計成“”的，這意味著當網絡獲得大量標記的訓練數據時，它們可以限度地減少將借款人或患者錯誤分類到錯誤類別的可能性。為了實現性能，必須使用特定的架構構建這些網絡。

研究人員發現，在某些情況下，使神經網絡成為狀態的構建塊并不是開發人員在實踐中使用的構建塊。研究人員說，通過新分析得出的這些構建塊是非常規的，以前從未被考慮過。

在本周發表在《美國科學院院刊》（Proceedings of the National Academy of Sciences）上的一篇論文中，他們描述了這些稱為激活函數的構建塊，并展示了如何使用它們來設計在任何數據集上實現更好性能的神經網絡。即使神經網絡變得非常大，結果仍然成立。這項工作可以幫助開發人員選擇正確的激活函數，使他們能夠構建神經網絡，在廣泛的應用領域更準確地對數據進行分類，作者，電氣工程和計算機科學系（EECS）教授Caroline Uhler解釋說。

“雖然這些是以前從未使用過的新激活功能，但它們是某人可以針對特定問題實際實現的簡單功能。這項工作確實顯示了擁有理論證明的重要性。如果你對這些模型有一個原則性的理解，這實際上可以引導你獲得你從未想過的新激活函數，“Uhler說，他也是麻省理工學院和哈佛大學布羅德研究所埃里克和溫迪施密特中心的聯合主任，也是麻省理工學院信息和決策系統實驗室（LIDS）及其數據研究所的研究員， 系統與社會。

加入Uhler論文的是主要作者Adityanarayanan Radhakrishnan，EECS研究生和Eric和Wendy Schmidt中心研究員，以及Mikhail Belkin，加州大學圣地亞哥分校Halicio?lu數據科學研究所教授。

激活調查

神經網絡是一種松散地基于人腦的機器學習模型。許多相互連接的節點或神經元層處理數據。研究人員通過向網絡展示數據集中的數百萬個示例來訓練網絡完成任務。

例如，經過訓練將圖像分類的網絡，例如狗和貓，被賦予已編碼為數字的圖像。網絡逐層執行一系列復雜的乘法運算，直到結果只有一個數字。如果該數字為正數，則網絡將圖像分類為狗，如果為負數，則分類為貓。

激活函數幫助網絡學習輸入數據中的復雜模式。他們通過在將數據發送到下一層之前對一層的輸出應用轉換來實現這一點。當研究人員構建神經網絡時，他們選擇一個激活函數來使用。他們還選擇網絡的寬度（每層有多少神經元）和深度（網絡中有多少層）。

“事實證明，如果你采用人們在實踐中使用的標準激活功能，并不斷增加網絡的深度，它會給你帶來非常糟糕的性能。我們表明，如果你使用不同的激活函數進行設計，隨著你獲得更多的數據，你的網絡會變得越來越好，“Radhakrishnan說。

他和他的合作者研究了這樣一種情況：神經網絡是無限深度和寬的——這意味著網絡是通過不斷添加更多的層和更多的節點來構建的——并被訓練來執行分類任務。在分類中，網絡學習將數據輸入放入單獨的類別中。

“干凈的畫面”

在進行詳細分析后，研究人員確定，這種網絡只有三種方式可以學習對輸入進行分類。一種方法根據訓練數據中的大多數輸入對輸入進行分類;如果狗比貓多，它將決定每個新輸入都是狗。另一種方法是通過選擇與新輸入相似的訓練數據點的標簽（狗或貓）進行分類。

第三種方法根據與其相似的所有訓練數據點的加權平均值對新輸入進行分類。他們的分析表明，這是三種方法中導致性能的方法。他們確定了一組始終使用這種分類方法的激活函數。

“這是令人驚訝的事情之一——無論你為激活函數選擇什么，它都將成為這三個分類器之一。我們有公式可以明確地告訴您它將是這三者中的哪一個。這是一幅非常干凈的畫面，“他說。

他們在幾個分類基準測試任務上測試了這一理論，發現它在許多情況下提高了性能。神經網絡構建者可以使用他們的公式來選擇一個激活函數，從而提高分類性能，Radhakrishnan說。

在未來，研究人員希望利用他們所學到的知識來分析他們擁有有限數據的情況，以及不是無限寬或無限深的網絡。他們還希望將此分析應用于數據沒有標簽的情況。

“在深度學習中，我們希望建立基于理論的模型，以便我們能夠在某些關鍵任務環境中可靠地部署它們。這是一種有前途的方法，可以達到這樣的事情 - 以理論為基礎的方式構建架構，在實踐中轉化為更好的結果，“他說。

這項工作得到了美國科學基金會，海軍研究辦公室，麻省理工學院-IBM沃森人工智能實驗室，布羅德研究所的埃里克和溫迪施密特中心以及西蒙斯研究員獎的部分支持。