[發(fā)明專利]一種在不同神經(jīng)網(wǎng)絡結(jié)構(gòu)間進行知識遷移的方法

在審

• 申請?zhí)枺?/td>: 201710161311.X
• 申請日: 2017-03-17
• 公開（公告）號: CN107145946A
• 公開（公告）日: 2017-09-08
• 發(fā)明（設計）人: 陳偉杰;金連文
• 申請（專利權(quán)）人: 華南理工大學
• 主分類號: G06N5/02
• 分類號: G06N5/02;G06N3/02
• 代理公司: 廣東廣信君達律師事務所44329
• 代理人: 楊曉松

技術(shù)領域

本發(fā)明涉及深度學習和知識遷移的算法領域，尤其涉及一種在不同神經(jīng)網(wǎng)絡結(jié)構(gòu)間進行知識遷移的方法。

背景技術(shù)

深度學習正在蓬勃發(fā)展，在識別、檢測、追蹤等多個領域都取得了非常矚目的進展，學術(shù)界的研究成果的工業(yè)化、產(chǎn)品化也在有條不紊地進行著。然而，面對不同的產(chǎn)品需求，其對網(wǎng)絡精度、運行速度、存儲量的要求都不一樣。在處理同一個問題上，對于精度要求高的平臺往往要用到比較大的模型，而對于運行在移動端等運行速度優(yōu)先的任務往往要用到較為精簡的網(wǎng)絡。在已有一個訓練好的模型的情況下，根據(jù)不同的精度、運行速度需求再重新訓練一個模型是十分費時耗力的。于是，如何將訓練好的網(wǎng)絡中的知識快速遷移到另外一個結(jié)構(gòu)不同、復雜度不同的網(wǎng)絡上變得尤為重要。

目前，學術(shù)界的研究人員也有對此展開研究的，以Net2Net、Network Morphism、Deep Compression這些論文為代表，前兩者講的就是如何將一個小網(wǎng)絡的參數(shù)無損地拓展到另一個大網(wǎng)絡中，對網(wǎng)絡結(jié)構(gòu)的設計存在一定限制，而后者講的是一套網(wǎng)絡壓縮的方法，工程量比較大。在同樣的背景下，Hinton提出了“老師-學生”訓練方法，但其僅僅通過已訓練好的網(wǎng)絡生成軟標簽用于訓練小網(wǎng)絡而已，并未過多涉及網(wǎng)絡的內(nèi)部結(jié)構(gòu)，其遷移收斂速度不夠快速。

發(fā)明內(nèi)容

為了滿足不同的工業(yè)化、產(chǎn)品化需求，將已訓練完畢的神經(jīng)網(wǎng)絡中的知識快速遷移到另一個網(wǎng)絡結(jié)構(gòu)不同、復雜度不同的模型上，本發(fā)明提出一種在不同神經(jīng)網(wǎng)絡結(jié)構(gòu)間進行知識遷移的方法。

本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

一種在不同神經(jīng)網(wǎng)絡結(jié)構(gòu)間進行知識遷移的方法，包括步驟

S1：將已經(jīng)訓練好的神經(jīng)網(wǎng)絡縱向劃分為多個子網(wǎng)絡，并且使得每個子網(wǎng)絡的輸入和輸出為所述已經(jīng)訓練好的神經(jīng)網(wǎng)絡不同尺度大小下的特征信息；

S2：根據(jù)不同的需求設計需要進行知識轉(zhuǎn)移的目標網(wǎng)絡，并使得所述需要進行知識轉(zhuǎn)移的目標網(wǎng)絡能劃分為與所述已經(jīng)訓練好的神經(jīng)網(wǎng)絡具有相同數(shù)量的子網(wǎng)絡，然后，需要進行知識轉(zhuǎn)移的目標網(wǎng)絡重新學習已經(jīng)訓練好的神經(jīng)網(wǎng)絡中各個子網(wǎng)絡的輸入和輸出之間的映射關系；

S3：將目標設定為：已經(jīng)訓練好的神經(jīng)網(wǎng)絡與需要進行知識轉(zhuǎn)移的目標網(wǎng)絡輸入相同的情況下，最小化相對應的子網(wǎng)絡的輸出特征圖之間的距離，對所述需要進行知識轉(zhuǎn)移的目標網(wǎng)絡進行優(yōu)化；

S4：提取所述需要進行知識轉(zhuǎn)移的目標網(wǎng)絡，以低于已經(jīng)訓練好的神經(jīng)網(wǎng)絡的學習率，對所述需要進行知識轉(zhuǎn)移的目標網(wǎng)絡進一步優(yōu)化。

進一步地，步驟S1中，已經(jīng)訓練好的神經(jīng)網(wǎng)絡縱向劃分為多個子網(wǎng)絡的方法包括但不限于：將一個卷積層或全連接層級聯(lián)上一個池化層和激活層劃為一個子網(wǎng)絡，或，以池化層為分界線劃分子網(wǎng)絡，或，殘差網(wǎng)絡則以步長為2的層為分界線劃為子網(wǎng)絡。

進一步地，步驟S2中，設計需要進行知識轉(zhuǎn)移的目標網(wǎng)絡時，還要使得需要進行知識轉(zhuǎn)移的目標網(wǎng)絡的輸出特征圖的通道數(shù)、高和寬都和所述已經(jīng)訓練好的神經(jīng)網(wǎng)絡中對應的子網(wǎng)絡相同，且確保已經(jīng)訓練好的神經(jīng)網(wǎng)絡和需要進行知識轉(zhuǎn)移的目標網(wǎng)絡的輸出特征圖之間的誤差能夠被計算。

進一步地，步驟S3中，對所述需要進行知識轉(zhuǎn)移的目標網(wǎng)絡進行優(yōu)化包括步驟：在所述需要進行知識轉(zhuǎn)移的目標網(wǎng)絡的對應的子網(wǎng)絡后連接一個損失層，且在誤差回傳更新參數(shù)時，每個損失層得到的梯度只用于更新當前子網(wǎng)絡的參數(shù)，不向上一個子網(wǎng)絡繼續(xù)回傳。

進一步地，步驟S4中，對所述需要進行知識轉(zhuǎn)移的目標網(wǎng)絡進一步優(yōu)化是在原數(shù)據(jù)集上進行的，如果用戶目標是擴展網(wǎng)絡，即希望得到比已經(jīng)訓練好的神經(jīng)網(wǎng)絡精度更高或者泛化性更高的需要進行知識轉(zhuǎn)移的目標網(wǎng)絡，則在擴大數(shù)據(jù)集或進行數(shù)據(jù)增強后進一步調(diào)優(yōu)。

本發(fā)明的有益效果在于，與現(xiàn)有技術(shù)相比，本發(fā)明進一步地拓展了知識遷移模式，在精度上、遷移收斂速度上、靈活性上都具有顯著的優(yōu)勢；而且實現(xiàn)簡單方便，用戶只需簡單改寫一下網(wǎng)絡定義文件，就可以實現(xiàn)大部分的功能，因此具有一定的工程意義。

附圖說明

圖1是本發(fā)明一種在不同神經(jīng)網(wǎng)絡結(jié)構(gòu)間進行知識遷移的方法流程圖；

圖2是本發(fā)明中VGG網(wǎng)絡結(jié)構(gòu)及其子網(wǎng)絡劃分示意圖；

圖3是本發(fā)明中殘差網(wǎng)絡結(jié)構(gòu)及其子網(wǎng)絡劃分示意圖；

圖4是殘差網(wǎng)絡中的“瓶頸”結(jié)構(gòu)示意圖；

圖5a和圖5b是兩種感受野大小為3的子網(wǎng)絡選用模塊；

圖6是一種感受野大小為5的子網(wǎng)絡選用模塊；

圖7是一種感受野大小為7的子網(wǎng)絡選用模塊；