[發明專利]一種基于淺度學習的神經網絡遷移方法

有效

• 申請號: 201811388026.2
• 申請日: 2018-11-20
• 公開（公告）號: CN109558942B
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 牛新征;劉鵬飛;徐暢;李柯江;朱家輝;陳加偉;朱戈;潘袁湘
• 申請（專利權）人: 電子科技大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 楊保剛

本發明公開了一種基于淺度學習的神經網絡遷移方法，方法步驟為：步驟1、分類劃分目標任務數據集并進行標記，存儲標記數據作為淺度神經網絡的訓練數據x₀；步驟2、輸入x₀至淺度神經網絡，逐層訓練得到預訓練的淺度神經網絡模型，x₀經預訓練神經網絡模型后輸出數據為x₂；步驟3、將得到的預訓練淺度神經網絡模型的輸出數據x₂作為目標任務的深度神經網絡模型的輸入，以目標任務的帶標記數據訓練整個深度神經網絡，對整個網絡參數進行微調，完成神經網絡遷移。本發明使用逐層訓練的淺度神經網絡學習模型作為任務遷移的基礎模型，使遷移任務簡單高效，擴展性強，解決了傳統端到端深度神經網絡遷移效果波動不定，甚至適得其反的問題。

技術領域

本發明屬于計算機視覺技術領域，具體涉及一種基于淺度學習的神經網絡遷移方法。

背景技術

淺度學習：即采用低層次神經網絡用于機器學習。是機器學習對數據進行表征學習的方法。構建含少數隱藏層的學習結構來學習屬性類別或特征，以發現數據的分布式特征表示。淺度的監督式神經網絡比深度神經網絡更容易被解釋、分析和優化，但表征能力卻不及深度神經網絡。

遷移學習:即把已學訓練好的模型參數遷移到新的模型來幫助新模型訓練?？紤]到大部分數據或任務是存在相關性的，所以通過遷移學習我們可以將已經學到的模型參數(也可理解為模型學到的知識)通過某種方式來分享給新模型從而加快并優化模型的學習效率不用像大多數網絡那樣從零學習(starting from scratch，tabula rasa)。

目前的神經網絡遷移方法步驟為：

1.尋找與目標任務相關的源任務，源任務要與目標任務差距不大。例如如果你要訓練一個神經網絡來識別肺部X光片中是否包含腫瘤，那么使用VGG16的網絡就不如使用一個已訓練好的判斷腦部是否包含腫瘤的神經網絡。后者與當前的任務有相似的場景，很多底層的神經員可以做相同的事，而用來識別日常生活中照片的網絡，則難以從X光片中提取有效的特征。

2.使用大量標記數據和海量顯卡資源預先訓練好一個能夠解決源任務的深度神經網絡，通常稱之為Base Network。

3.把Base Network的前n層中每個節點的權重遷移到目標任務的神經網絡(Target Network)的前n層。

4.將Target Network的其它層的訓練參數隨機初始化。

5.開始訓練目標任務神經網絡。其中，在做反向傳播的時候，有兩種方法可以選擇：(1)把遷移過來的這前n層凍結起來，即在訓練目標任務神經網絡的時候，不改變這n層的值；(2)不凍結這前n層，而是會不斷調整全局神經網絡的值(包括前n層)，稱為微調。這個主要取決于目標任務數據集的大小和前n層的參數個數，如果目標任務數據集很小，而參數個數很多，為了防止過擬合，通常采用凍結的方法；反之，采用微調參數。

現有方法中的問題在于：1)采用預訓練的源任務深度神經網絡，則要保證源任務和當前的任務差距不大，不然遷徙學習的效果會很差，這增加了方法的復雜性且不易保證該效果。2)預訓練的源任務深度神經網絡需要使用大量標記數據和海量顯卡資源，而遷移學習的目的即減少訓練新目標任務深度神經網絡時對海量帶標記數據和顯卡資源需求，如若事先沒有開源的解決源任務的深度神經網絡，同樣需要這些資源用于預訓練源任務深度神經網絡，其實此方法沒有從本質上解決使用深度學習完成目標任務對于資源的大量需求。3)采用預訓練源任務深度神經網絡的端到端遷移到另一個深度神經網絡時，傳統的遷移深度神經網絡不明晰遷移層數，往往需要通過編程人員自身經驗去試出更好的遷移效果，我們無從得知需遷移深度神經網絡的前多少層才能使得最終目標任務網絡訓練效果最優，不易使該遷移方法變得高效,且訓練好的端到端深度學習網絡目標太過于“明確”，一定程度上影響目標任務預測結果。

發明內容