[發明專利]模型生成方法和裝置

有效

• 申請號: 201810059263.8
• 申請日: 2018-01-22
• 公開（公告）號: CN108280513B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 張剛
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種人臉識別模型的生成方法，包括：

創建與用于生成原始模型的原始神經網絡的結構相同的神經網絡，以及去除創建的神經網絡的多個待去除的中間層，得到用于生成原始模型對應的目標模型的目標神經網絡；

通過訓練操作對所述目標神經網絡進行訓練，得到所述目標模型，所述訓練操作包括：將目標神經網絡的訓練樣本分別輸入到原始模型和目標神經網絡；利用輸出層損失函數更新所述目標神經網絡的輸出層中的參數的參數值，以及利用目標中間層組合對應的中間層損失函數更新所述目標神經網絡中與目標中間層組合相關聯的層中的參數的參數值，其中，所述目標中間層組合包括：所述目標神經網絡中的兩個中間層，所述輸出層損失函數用于計算所述原始模型的輸出向量和所述目標神經網絡的輸出向量的差異，所述目標中間層組合對應的中間層損失函數用于計算所述目標中間層組合中的兩個中間層的輸出向量之間的轉換關系與所述原始模型中對應于所述目標中間層組合的原始中間層組合中的兩個中間層的輸出向量之間的轉換關系的差異；其中，所述訓練樣本為包含有被標注出人臉的圖像樣本，所述原始模型為運行在服務器上的占用存儲空間較大且精度較高的人臉識別模型，所述目標模型為運行在閘機終端上的占用存儲空間較小且精度達到精度閾值的人臉識別模型，所述精度閾值設置為與所述原始模型的精度的差值小于差值閾值。

2.根據權利要求1所述的方法，所述目標中間層組合對應的中間層損失函數為計算目標轉換關系向量和原始轉換關系向量的歐式距離的函數，其中，目標轉換關系向量基于將表示目標中間層組合中的兩個中間層的輸出向量之間的轉換關系的矩陣進行向量化而得到，原始轉換關系向量基于將表示原始模型中對應于所述目標中間層組合的原始中間層組合中的兩個中間層的輸出向量之間的轉換關系的矩陣進行向量化而得到。

3.根據權利要求2所述的方法，利用目標中間層組合對應的中間層損失函數更新目標神經網絡中與目標中間層組合相關聯的層中的參數的參數值包括：

基于所述目標中間層組合對應的中間層損失函數，計算出中間層梯度信息，所述中間層梯度信息包括：目標神經網絡中的所述目標中間層組合中的最高中間層與目標神經網絡的輸入層之間的每一層中的參數的梯度；

基于所述中間層梯度信息，更新目標神經網絡中的所述目標中間層組合中的最高中間層與目標神經網絡的輸入層之間的每一層中的參數的參數值。

4.根據權利要求3所述的方法，目標中間層組合中的每一個中間層的輸出向量的維度相同。

5.根據權利要求1-4之一所述的方法，原始神經網絡和目標神經網絡的類型均為卷積神經網絡。

6.根據權利要求5所述的方法，目標中間層組合中的每一個中間層均為卷積層。

7.一種人臉識別模型的生成裝置，包括：

處理單元，配置用于創建與用于生成原始模型的原始神經網絡的結構相同的神經網絡，以及去除創建的神經網絡的多個待去除的中間層，得到用于生成原始模型對應的目標模型的目標神經網絡；

訓練單元，配置用于通過訓練操作對所述目標神經網絡進行訓練，得到所述目標模型，所述訓練操作包括：將目標神經網絡的訓練樣本分別輸入到原始模型和目標神經網絡；利用輸出層損失函數更新所述目標神經網絡的輸出層中的參數的參數值，以及利用目標中間層組合對應的中間層損失函數更新所述目標神經網絡中與目標中間層組合相關聯的層中的參數的參數值，其中，所述目標中間層組合包括：所述目標神經網絡中的兩個中間層，所述輸出層損失函數用于計算所述原始模型的輸出向量和所述目標神經網絡的輸出向量的差異，所述目標中間層組合對應的中間層損失函數用于計算所述目標中間層組合中的兩個中間層的輸出向量之間的轉換關系與所述原始模型中對應于所述目標中間層組合的原始中間層組合中的兩個中間層的輸出向量之間的轉換關系的差異；其中，所述訓練樣本為包含有被標注出人臉的圖像樣本，所述原始模型為運行在服務器上的占用存儲空間較大且精度較高的人臉識別模型，所述目標模型為運行在閘機終端上的占用存儲空間較小且精度達到精度閾值的人臉識別模型，所述精度閾值設置為與所述原始模型的精度的差值小于差值閾值。