[發明專利]偽標簽生成模型訓練方法、裝置及偽標簽生成方法及裝置

有效

• 申請號: 201810098924.8
• 申請日: 2018-01-31
• 公開（公告）號: CN108197670B
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 孫源良;樊雨茂;劉萌
• 申請（專利權）人: 國信優易數據股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 戈豐

本發明提供一種偽標簽生成模型訓練方法、裝置及偽標簽生成方法及裝置，該方法包括：用第一輔助神經網絡中指定特征提取層提取第一目標域數據的第一特征向量，用第二輔助神經網絡中指定特征提取層提取第二目標域數據的第二特征向量；用第一特征向量和第二特征向量計算第一域混淆損失；用目標神經網絡中指定特征提取層提取源域數據的源域特征向量；將目標神經網絡輸出的特征向量輸入至目標分類器得到第一分類結果；用第一特征向量和源域特征向量計算第二域混淆損失；根據第一域混淆、第二域混淆損失及第一分類結果，經過對目標神經網絡和目標分類器進行多輪訓練，得到偽標簽生成模型。該方法獲得的偽標簽生成模型能生成質量較高的偽標簽。

技術領域

本發明涉及深度學習技術領域，具體而言，涉及一種偽標簽生成模型訓練方法、裝置及偽標簽生成方法及裝置。

背景技術

遷移學習可以利用已知領域中有標簽的訓練樣本(可稱為源域數據)訓練分類模型來對目標領域的數據(可稱為目標域數據)進行標定，而并不要求源域數據和目標域數據具有相同的數據分布。遷移學習實際上是通過找尋待標定數據和已知標簽數據之間的聯系，例如采用核函數的方式將源域和目標域數據映射到同一空間中，在該空間下源域數據和目標域數據擁有相同的分布，從而可以利用該空間表示的有標簽的源域樣本數據訓練分類器來對目標領域進行標定。

已有的遷移學習方法中，存在一種利用偽標簽指導目標域數據分類的網絡模型。當前一般利用初始卷積神經網絡(Convolutional Neural Network，CNN)生成偽標簽。這種方法中，如果要生成質量較高的偽標簽，則需要目標域標注數據的數據量較大；如果目標域標注數據的數據量過少，則會造成生成的偽標簽質量不高的問題，進而利用少量目標域數據引導遷移學習難度較大。

發明內容

有鑒于此，本發明實施例的目的在于提供一種偽標簽生成模型訓練方法、裝置及偽標簽生成方法及裝置，能夠利用少量帶有標簽的目標域數據間接指導源域向目標域遷移，既利用了帶標簽的目標域數據，又有效提取了未標記標簽的目標域的特征，從而能夠充分利用較少的目標域標注數據，生成質量較高的偽標簽。

第一方面，本發明實施例提供了一種偽標簽生成模型訓練方法，該方法包括：

獲取帶有標簽的源域數據、不帶標簽的第一目標域數據以及帶有標簽的第二目標域數據；

使用第一輔助神經網絡對第一目標域數據進行特征學習，獲取在第一輔助神經網絡中指定特征提取層的第一特征向量，并且使用第二輔助神經網絡對第二目標域數據進行特征學習，獲取第二輔助神經網絡中指定特征提取層的第二特征向量；

根據所述第一特征向量以及第二特征向量計算第一域混淆損失；

使用目標神經網絡對所述源域數據進行特征學習，獲取所述目標神經網絡中指定特征提取層提取的源域特征向量；并將目標神經網絡輸出的特征向量輸入至目標分類器得到第一分類結果；

根據所述第一特征向量和所述源域特征向量計算第二域混淆損失；

根據所述第一域混淆損失對所述第一輔助神經網絡進行本輪訓練；以及根據所述第二域混淆損失，以及所述第一分類結果，對所述目標神經網絡進行本輪訓練；以及根據所述第一分類結果，對所述目標分類器進行本輪訓練；

經過對所述目標神經網絡和所述目標分類器進行多輪訓練，得到偽標簽生成模型。

第二方面，本發明實施例還提供一種偽標簽生成方法，該方法包括：

獲取待分類數據；

將所述待分類數據輸入至通過本發明實施例所述的偽標簽生成模型訓練方法得到的偽標簽生成模型，得到所述待分類數據的分類結果；

將所述待分類數據的分類結果作為所述待分類數據的偽標簽。