[發明專利]訓練分類器的方法和裝置

在審

• 申請號: 202010109899.6
• 申請日: 2020-02-23
• 公開（公告）號: CN111382782A
• 公開（公告）日: 2020-07-07
• 發明（設計）人: 王碩;岳俊;劉健莊;田奇
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 時林;王君

本申請提供了一種訓練分類器的方法，包括：獲取第一訓練樣本，所述第一訓練樣本包括相應的語義標簽；獲取多個第二訓練樣本，每個所述第二訓練樣本包括相應的語義標簽；根據所述第一訓練樣本和所述多個第二訓練樣本的語義相似度從所述多個第二訓練樣本中確定目標樣本；根據所述第一訓練樣本、所述目標樣本、所述第一訓練樣本和所述目標樣本的語義相似度訓練分類器。基于語義相似度訓練分類器能夠提高分類器的訓練效率和性能。此外，由于上述方法在特征提取時未使用語義標簽進行學習，無需改變特征提取器的網絡結構，從而能夠提高神經網絡的訓練效率。

技術領域

本申請涉及人工智能領域，尤其涉及一種訓練分類器的方法和裝置。

背景技術

神經網絡是實現人工智能的工具，神經網絡在應用前需要經過大量樣本的訓練才能實現特定的功能，當需要神經網絡實現新的功能時，通常還需要使用大量新樣本訓練神經網絡。

一種減小再次訓練神經網絡的工作量的方法是知識遷移。神經網絡基于大量樣本完成訓練后，學習到了知識；當使用新(novel)樣本訓練神經網絡時，可以利用已經學習到的知識處理新樣本，這樣可以較少的新樣本完成神經網絡的再次訓練，提升神經網絡的性能。相比于新樣本，上述大量樣本可以稱為基礎(base)樣本，

在利用知識遷移和新樣本訓練神經網絡時，通常利用特征提取器從新樣本中提取特征，并基于特征對新樣本進行分類等處理，當新樣本的類別改變時，特征提取器需要重新學習新類別的新樣本的特征，導致訓練工作量增大。

發明內容

本申請提供了一種訓練分類器的方法和裝置，能夠分類器的訓練效率和性能。

第一方面，提供了一種訓練分類器的方法，包括：獲取第一訓練樣本，所述第一訓練樣本包括相應的語義標簽；獲取多個第二訓練樣本，每個所述第二訓練樣本包括相應的語義標簽；根據所述第一訓練樣本和所述多個第二訓練樣本的語義相似度從所述多個第二訓練樣本中確定目標樣本；根據所述第一訓練樣本、所述目標樣本、所述第一訓練樣本和所述目標樣本的語義相似度訓練分類器。

語義相似度用于衡量知識遷移的難易程度，例如，花貓與虎皮貓的語義相似度較高，表示花貓圖像和虎皮貓圖像的特征相似度較高，分類器通過虎皮貓圖像特征學習到的分類知識更容易遷移到花貓圖像的分類過程中，可以使用更多虎皮貓圖像訓練分類器；花貓與獵犬的語義相似度較低，表示花貓圖像與獵犬圖像的特征相似度較低，分類器通過獵犬圖像特征學習到的分類知識難以遷移到花貓圖像的分類過程中，可以減少獵犬圖像在分類器訓練過程中的使用量。因此，基于語義相似度訓練分類器能夠提高分類器的訓練效率和性能。此外，由于上述方法在特征提取時未使用語義標簽進行學習，無需改變特征提取器的網絡結構，從而能夠提高神經網絡(包含分類器)的訓練效率。

可選地，所述根據所述第一訓練樣本、所述目標樣本、所述第一訓練樣本和所述目標樣本的語義相似度訓練分類器，包括：通過所述分類器確定所述第一訓練樣本的預測得分；根據所述預測得分、所述第一訓練樣本與所述目標樣本的語義相似度確定所述分類器的語義遷移損失函數L_semantic，所述目標樣本與所述第一訓練樣本的語義相似度用于確定所述預測得分對所述L_semantic的影響程度；根據所述L_semantic訓練所述分類器。

根據語義相似度訓練分類器能夠提高分類器的性能。

可選地，當所述目標樣本與所述第一訓練樣本的語義相似度大于等于語義遷移強度時，所述預測得分對所述L_semantic的影響程度為100％；或者，當所述目標樣本與所述第一訓練樣本的語義相似度小于語義遷移強度時，所述預測得分對所述L_semantic的影響程度為0。

語義遷移強度可以根據經驗設置，使得分類器學習到正確的分類知識，避免分類器被錯誤的分類知識誤導。