[發明專利]一種訓練模型和小樣本分類的方法及裝置

有效

• 申請號: 202110248702.1
• 申請日: 2021-03-08
• 公開（公告）號: CN112598091B
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 張濤;王鐸;夏華夏;申浩;何祎;毛一年
• 申請（專利權）人: 北京三快在線科技有限公司;清華大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46
• 代理公司: 北京曼威知識產權代理有限公司 11709
• 代理人: 方志煒

本說明書公開了一種訓練模型和小樣本分類的方法及裝置，通過計算不同樣本之間各局部特征的相似度，使得后續確定的權重分布可以更好體現樣本之間共生信息的重要程度，而構建最優傳輸問題時通過加入熵正則項，使得可通過迭代優化得到傳輸成本矩陣，最后基于各樣本對的傳輸成本矩陣和各查詢樣本在訓練樣本集中的標注，確定損失函數，使該特征提取模型學習到提取對查詢樣本進行分類更有效的特征。可見訓練模型并沒有學習加權所用的傳輸成本矩陣，而是對每個樣本對解算得到傳輸成本矩陣，使得本說明書提供的實施例不會被學習的通用加權矩陣限制，可以適應不同類型的場景的樣本。

技術領域

本說明書涉及自動駕駛技術領域，尤其涉及一種訓練模型和小樣本分類的方法及裝置。

背景技術

目前，有監督學習已經成為一種重要的模型訓練方法，而在訓練深度學習模型的時，則需要大量的訓練樣本，以保證模型訓練的效果。

當訓練樣本較少但又有訓練深度學習模型時，需要基于小樣本對深度模型進行訓練。而其中一種方法是，基于小樣本對測試樣本庫中的測試樣本進行分類，也可視為是對測試樣本的標注，從而得到大量樣本用于對深度學習模型進行訓練。可見，測試樣本標注的準確性，決定了深度學習模型的訓練效果。

在現有技術中，一般將小樣本稱為支撐樣本，將待標注的大量樣本稱為查詢樣本。通過確定各支撐樣本與各查詢樣本的相似度，確定查詢樣本的標注結果。進一步地，由于樣本的局部特征相對于從將樣本作為整體提取出的特征來說，對樣本的細節表示更加準確，還可以排除樣本中的干擾噪音對相似度計算的影響，因此目前通常是基于查詢樣本的局部特征，來確定查詢樣本的標注結果的。

可見，從樣本中提取局部特征的準確性，對標注準確性有重要的影響。因此現有技術中通常引入注意力機制等方式，通過在已標注好的訓練樣本集中確定支撐樣本與查詢樣本，對特征提取模型進行訓練，使得特征提取模型學習到不同局部特征的權重，并輸出加權的局部特征，在計算相似度時使確定出的標注結果更加準確。

但是，現有技術訓練出的特征提取模型通常為通用模型，也就是用于不同場景的樣本的標注，而不同場景的樣本之間相似性上是存在區別的，導致現有訓練得到的樣本標注模型的自適應性不足，標注結果的準確性較低，影響后續基于標注樣本的深度學習模型的訓練效果。

發明內容

本說明書實施例提供一種訓練模型和小樣本分類的方法及裝置，以部分解決上述現有技術存在的問題。

本說明書實施例采用下述技術方案：

本說明書提供的一種訓練模型的方法，包括：

根據訓練樣本集中獲取已標注類別的各支撐樣本以及各查詢樣本，確定各樣本對，并通過待訓練的特征提取模型，分別確定每個樣本對中支撐樣本的各局部特征以及查詢樣本的各局部特征，其中，所述訓練樣本集包含的是用于訓練無人駕駛設備的控制模型的樣本數據；

針對每個樣本對，根據確定出的該樣本對的各對局部特征之間的特征相似度，確定支撐特征權重分布以及查詢特征權重分布，其中，權重分布用于表征不同局部特征分別對于確定樣本相似度的貢獻度，且權重與貢獻度正相關；

根據所述支撐特征權重分布和所述查詢特征權重分布，以及根據該樣本對中各對局部特征的特征相似度確定該樣本對的傳輸成本矩陣，以支撐樣本的各局部特征傳輸到達查詢樣本的各局部特征為目標，構建附加熵正則化項的最優傳輸問題；

根據解算各樣本對的最優傳輸問題分別得到的各樣本對的傳輸成本矩陣，以及各查詢樣本在訓練樣本集中的標注，確定損失函數，以最小化所述損失函數為目標，訓練所述特征提取模型；

其中，所述特征提取模型用于基于已標注的支撐樣本對未標注的查詢樣本進行分類，以根據所述支撐樣本以及所述分類后的查詢樣本對無人駕駛設備的控制模型進行訓練，訓練得到的無人駕駛設備的控制模型用于使無人駕駛設備執行配送業務。