[發明專利]神經網絡模型遷移方法和系統、電子設備、程序和介質

在審

• 申請號: 201711214145.1
• 申請日: 2017-11-28
• 公開（公告）號: CN108229534A
• 公開（公告）日: 2018-06-29
• 發明（設計）人: 邵婧;閆俊杰
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

1.一種神經網絡模型遷移方法，其特征在于，包括：

分別向至少兩個訓練好的第一神經網絡模型和一待訓練的第二神經網絡模型輸入相同的待處理對象；其中，第二神經網絡模型的大小小于每個第一神經網絡模型的大小；

獲取所述至少兩個第一神經網絡模型的特征層提取的特征與第二神經網絡模型的特征層提取的特征之間的第一差異；

根據所述至少兩個第一神經網絡模型的特征層提取的特征與第二神經網絡模型的特征層提取的特征之間的第一差異訓練所述第二神經網絡模型，直至滿足訓練完成條件。

2.根據權利要求1所述的方法，其特征在于，獲取所述至少兩個第一神經網絡模型的特征層提取的特征與第二神經網絡模型的特征層提取的特征之間的第一差異；根據所述至少兩個第一神經網絡模型的特征層提取的特征與第二神經網絡模型的特征層提取的特征之間的第一差異訓練所述第二神經網絡模型，包括：

分別獲取所述至少兩個第一神經網絡模型中至少一相互對應的特征層所提取的特征，并融合所述至少兩個第一神經網絡模型中至少一相互對應的特征層所提取的特征，獲得融合特征；

通過遷移代價函數層，獲取所述融合特征與所述第二神經網絡模型的對應特征層提取的特征之間的遷移代價函數值，所述第一差異為所述遷移代價函數值；

根據所述遷移代價函數值調整所述第二神經網絡模型中所述對應特征層及所述對應特征層之前各網絡層的網絡參數值。

3.根據權利要求2所述的方法，其特征在于，所述相互對應的特征層和所述對應特征層包括以下至少之一：至少一中間特征層、最后特征層。

4.根據權利要求3所述的方法，其特征在于，分別獲取所述至少兩個第一神經網絡模型中至少一相互對應的特征層所提取的特征，并融合所述至少兩個第一神經網絡模型中至少一相互對應的特征層所提取的特征，包括：

分別獲取所述至少兩個第一神經網絡模型中最后特征層所提取的特征；

級聯所述至少兩個第一神經網絡模型中最后特征層提取的特征，得到級聯特征；所述融合特征包括所述級聯特征。

5.一種神經網絡模型遷移系統，其特征在于，包括：至少兩個訓練好的第一神經網絡模型和一待訓練的第二神經網絡模型；其中，所述第二神經網絡模型的大小小于每個所述第一神經網絡模型的大小；每個所述第一神經網絡模型包括至少一個特征層；所述第二神經網絡模型包括至少一個特征層；

所述第一神經網絡模型，用于接收待處理對象；并輸出特征層提取的特征；

所述第二神經網絡模型，用于接收所述待處理對象；并輸出特征層提取的特征；

第一獲取模塊，用于獲取所述至少兩個第一神經網絡模型的特征層提取的特征與第二神經網絡模型的特征層提取的特征之間的第一差異；

訓練模塊，用于根據所述至少兩個第一神經網絡模型的特征層提取的特征與第二神經網絡模型的特征層提取的特征之間的第一差異訓練所述第二神經網絡模型，直至滿足訓練完成條件。

6.一種電子設備，其特征在于，設置有權利要求5所述的神經網絡模型遷移系統。

7.一種電子設備，其特征在于，包括：

處理器和權利要求5所述的神經網絡模型遷移系統；

在處理器運行所述神經網絡模型遷移系統時，權利要求5所述的神經網絡模型遷移系統中的單元被運行。

8.一種電子設備，其特征在于，包括：處理器和存儲器；

所述存儲器用于存放至少一可執行指令，所述可執行指令使所述處理器執行如權利要求1至4任意一項所述的神經網絡模型遷移方法對應的操作。

9.一種計算機程序，包括計算機可讀代碼，其特征在于，當所述計算機可讀代碼在設備上運行時，所述設備中的處理器執行用于實現權利要求1至4任意一項所述的神經網絡模型遷移方法中各步驟的指令。

10.一種計算機可讀存儲介質，用于存儲計算機可讀取的指令，其特征在于，所述指令被執行時實現權利要求1至4任意一項所述的神經網絡模型遷移方法中各步驟的操作。