[發明專利]基于標簽到標簽的多屬性預測方法、裝置、設備及介質

在審

• 申請號: 202210082013.2
• 申請日: 2022-01-24
• 公開（公告）號: CN114565017A
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 魯繼文;周杰;李萬華;曹哲暄
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 黃德海

1.一種基于標簽到標簽的多屬性預測方法，其特征在于，包括以下步驟：

提取圖像數據的深度特征；

基于所述深度特征獲取所述圖片數據的偽標簽序列；以及

將所述偽標簽序列中的每個單詞以預設概率進行掩碼，獲取被遮擋的句子，并由所述被遮擋的句子恢復得到完整的句子，學習多個屬性之間的關聯關系，生成最終多屬性預測結果。

2.根據權利要求1所述的方法，其特征在于，所述提取圖像數據的深度特征，包括：

提取所述圖像數據的深度特征的同時，通過拋棄全局池化層保留所述深度特征的空間維度。

3.根據權利要求1所述的方法，其特征在于，所述基于所述深度特征獲取所述圖片數據的偽標簽序列，包括：

基于查詢向量，利用屬性解碼器從所述深度特征中提取屬性相關的至少一個特征；

由所述至少一個特征生成至少一個響應向量，并利用多個獨立的二元分類器預測屬性值，獲取所述偽標簽序列。

4.根據權利要求1所述的方法，其特征在于，所述將所述偽標簽序列中的每個單詞以預設概率進行掩碼，獲取被遮擋的句子，包括：

對于所述偽標簽序列，基于所述預設概率進隨機選取標簽以掩碼掉，得到所述被遮擋的句子；

將所述被遮擋的句子映射為多個詞向量。

5.根據權利要求4所述的方法，其特征在于，所述由所述被遮擋的句子恢復得到完整的句子，學習多個屬性之間的關聯關系，生成最終多屬性預測結果，包括：

將所述多個詞向量作為標簽解碼器的輸入，預測對應的屬性。

6.一種基于標簽到標簽的多屬性預測裝置，其特征在于，包括：

提取模塊，用于提取圖像數據的深度特征；

獲取模塊，用于基于所述深度特征獲取所述圖片數據的偽標簽序列；以及

預測模塊，用于將所述偽標簽序列中的每個單詞以預設概率進行掩碼，獲取被遮擋的句子，并由所述被遮擋的句子恢復得到完整的句子，學習多個屬性之間的關聯關系，生成最終多屬性預測結果。

7.根據權利要求6所述的裝置，其特征在于，所述提取模塊，用于：

提取所述圖像數據的深度特征的同時，通過拋棄全局池化層保留所述深度特征的空間維度。

8.根據權利要求6所述的裝置，其特征在于，所述獲取模塊，用于：

基于查詢向量，利用屬性解碼器從所述深度特征中提取屬性相關的至少一個特征；

由所述至少一個特征生成至少一個響應向量，并利用多個獨立的二元分類器預測屬性值，獲取所述偽標簽序列。

9.根據權利要求6所述的裝置，其特征在于，所述預測模塊，用于：

對于所述偽標簽序列，基于所述預設概率進隨機選取標簽以掩碼掉，得到所述被遮擋的句子；

將所述被遮擋的句子映射為多個詞向量。

10.根據權利要求9所述的裝置，其特征在于，所述預測模塊，用于：

將所述多個詞向量作為標簽解碼器的輸入，預測對應的屬性。

11.一種電子設備，其特征在于，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述程序，以實現如權利要求1-5任一項所述的基于標簽到標簽的多屬性預測方法。

12.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行，以用于實現如權利要求1-5任一項所述的基于標簽到標簽的多屬性預測方法。