[發明專利]模型訓練方法及裝置

在審

• 申請號: 202010526776.2
• 申請日: 2020-06-09
• 公開（公告）號: CN111680636A
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 熊凱
• 申請（專利權）人: 廣州視源電子科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 曾紅芳

本發明公開了一種模型訓練方法及裝置。其中，該方法包括：確定第一模型和第二模型；確定預定樣本對在所述第一模型下的第一距離，以及確定所述預定樣本對在所述第二模型下的第二距離；根據所述第一距離和所述第二距離，構造所述第二模型的損失函數；通過優化所述損失函數，對所述第二模型進行訓練。本發明解決了在相關技術中，在進行模型的訓練過程中，不能控制模型訓練的趨勢，即不能保證模型訓練得越來越好的技術問題。

技術領域

本發明涉及人工智能領域，具體而言，涉及一種模型訓練方法及裝置。

背景技術

基于深度神經網絡的模型訓練目前主要有兩種方式，以人臉識別為例：一種是基于多分類進行訓練，即學習將一張人臉圖像，分配到某個類別中，這里類別數量等于 訓練數據集中的人數；另一種是基于度量學習，比如學習判定兩張人臉圖像是否為同 一人(也有基于三張或多張人臉圖像進行學習的)。以上兩種訓練過程，就是模型在學 習如何抽取人臉的特征。在理想情況下，同一個人的不同照片的特征，相互距離很近， 而不同人的照片的特征，相互距離很遠。

人臉識別是計算機視覺的一個研究方向，目前已有大量落地應用，比如人臉簽到、人臉支付和門禁系統。人臉識別領域目前有多個公開數據集，可以在這些公開數據集 上，訓練一個初始模型，進行較為通用的人臉識別。實際中，可能有更特定的場景， 對模型的性能要求也會產生偏向性，比如，在養老院部署人臉識別系統，可能就要模 型對老年人的識別更加準確。此時，可以收集一批場景化的數據，在這批特定的場景 數據上重新訓練模型。

為了提升新訓練模型的性能，充分利用場景數據以外的公開數據中的信息，當前常見的技術是基于遷移學習，將公開人臉集上，或者其他場景數據上訓練的模型的主 干網絡的參數權值，作為當前訓練網絡的參數初始值，然后啟動訓練。

上述基于預訓練模型進行遷移學習的過程，僅提供了一個比隨機初始化較好的初始值，并不能控制模型訓練的趨勢，即不能保證模型訓練得越來越好。

因此，在相關技術中，在進行模型的訓練過程中，不能控制模型訓練的趨勢，即 不能保證模型訓練得越來越好。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種模型訓練方法及裝置，以至少解決在相關技術中，在進行模型的訓練過程中，不能控制模型訓練的趨勢，即不能保證模型訓練得越來越好的 技術問題。

根據本發明實施例的一個方面，提供了一種模型訓練方法，包括：確定第一模型和第二模型；確定預定樣本對在所述第一模型下的第一距離，以及確定所述預定樣本 對在所述第二模型下的第二距離；根據所述第一距離和所述第二距離，構造所述第二 模型的損失函數；通過優化所述損失函數，對所述第二模型進行訓練。

可選地，通過優化所述損失函數，對所述第二模型進行訓練包括：通過保持所述損失函數中所述第一模型的參數不變，優化所述損失函數中所述第二模型的參數，對 所述第二模型進行訓練。

可選地，據所述第一距離和所述第二距離，構造的所述損失函數用于：在所述預定樣本對為正樣本對的情況下，要求所述第一距離大于所述第二距離；在所述預定樣 本對為負樣本對的情況下，要求所述第二距離大于所述第一距離。

可選地，根據所述第一距離和所述第二距離，構造所述第二模型的損失函數包括：通過以下公式構造所述第二模型的損失函數：

其中， L_cdo為所述損失函數的損失值；y為所述預定樣本對(I_i,I_j)的標簽，y＝1表示正樣本對，y＝0表示負樣本對；為所述第二距離；為所述第一距離；為所述預定樣本對(I_i,I_j)采用所述第一模型提取的特征對；為所述預定樣本對 (I_i,I_j)采用所述第二模型提取的特征對。