[發明專利]用于零樣本分類的集成協同訓練方法、裝置及終端設備

有效

• 申請號: 202011202927.5
• 申請日: 2020-11-02
• 公開（公告）號: CN112257808B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 郭毅博;范一鳴;王海迪;孟文化;姜曉恒;徐明亮
• 申請（專利權）人: 鄭州大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06N20/20
• 代理公司: 鄭州晟佳專利代理事務所(普通合伙) 41205
• 代理人: 張心龍

1.一種用于零樣本分類的集成協同訓練方法，其特征在于，包括：

獲取數據集及其屬性庫，將數據集劃分為訓練集和測試集，并將訓練集和測試集分別稱為可見類和不可見類；

訓練不同結構的屬性預測網絡，依據不同網絡對不可見類的魯棒性和泛化能力，從中選取兩個網絡作為主、副網絡；

計算屬性庫中可見類與不可見類屬性間的映射關系，得到屬性映射參數，使用主副網絡分別提取可見類的圖像特征，并根據屬性映射參數合成不可見類的虛擬特征；

將虛擬特征與多個分類器組合完成對分類器的訓練，使用主副網絡提取不可見類特征，使用分類器對不可見類特征進行預測，依據分類器投票機制，對符合條件的不可見類賦予偽標簽，將賦予偽標簽的不可見類加入到訓練集中重新對屬性預測網絡進行訓練；

所述將數據集劃分為訓練集和測試集，并將訓練集和測試集分別稱為可見類和不可見類，包括：

將數據集劃分為訓練集和測試集，并將訓練集和測試集分別稱為可見類D^S和不可見類D^U；

其中，可見類樣本標簽為表示可見類數據集D^S中的第i張圖片，為的類別標簽，不可見類樣本標簽為Y^U∪Y^S＝Y；對于每一個y∈Y，都存在與其相關的語義屬性A_y＝{a₁,a₂…,a_l+n}；

所述訓練不同結構的屬性預測網絡，依據不同網絡對不可見類的魯棒性和泛化能力，從中選取兩個網絡作為主、副網絡，包括：

訓練不同結構的屬性預測網絡，屬性預測網絡由特征提取函數和分類函數φ_main兩部分組成，其中，特征提取函數為公式(1)，分類函數φ_main為公式(2)；

其中，W_cnn表示網絡中卷積層的參數，x表示輸入的圖像樣本，W_main表示網絡全連接層的參數；

將可見類送入屬性預測網絡中通過公式(3)進行訓練，優化器使用自適應矩估計優化器；

其中，σ代表sigmoid激活函數，a_i為x_i的屬性標簽；

網絡的輸出結果為預測的不可見類屬性，將其輸入到公式(4)中對不可見類的類別進行預測；

其中，φ_pre表示網絡預測的語義屬性，表示屬性庫中真實的不可見類語義屬性；

將公式(5)作為評價指標，選取評價指標最高的兩個網絡作為主、副網絡；

其中，表示不可見類中第c個類別的Top-1準確率，Υ表示測試集中不可見類類別的總數量；

所述計算屬性庫中可見類與不可見類屬性間的映射關系，得到屬性映射參數，使用主副網絡分別提取可見類的圖像特征，并根據屬性映射參數合成不可見類的虛擬特征，包括：

對屬性庫中屬性進行正則化，并通過公式(6)計算不可見類與可見類之間的屬性映射參數

其中，表示不可見類的屬性，表示可見類的屬性；

可見類特征使用獲得；

不可見類的虛擬特征采用的方式獲得。

2.根據權利要求1所述的用于零樣本分類的集成協同訓練方法，其特征在于，所述將虛擬特征與多個分類器組合完成對分類器的訓練，使用主副網絡提取不可見類特征，使用分類器對不可見類特征進行預測，依據分類器投票機制，對符合條件的不可見類賦予偽標簽，將賦予偽標簽的不可見類加入到訓練集中重新對屬性預測網絡進行訓練，包括：

根據合成的不可見類的虛擬特征及相應的標簽，對分類器進行訓練，預測的語義屬性通過公式(7)獲得，并通過公式(8)對不可見類進行預測；

其中，F_{classification}表示網絡所用分類器；

依據分類器投票機制，對符合條件的不可見類賦予偽標簽，將賦予偽標簽的不可見類加入到訓練集中重新對屬性預測網絡進行訓練，直至訓練完成。