[發(fā)明專利]基于標簽到標簽的多屬性預(yù)測方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210082013.2
• 申請日: 2022-01-24
• 公開（公告）號: CN114565017A
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計）人: 魯繼文;周杰;李萬華;曹哲暄
• 申請（專利權(quán)）人: 清華大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 黃德海

1.一種基于標簽到標簽的多屬性預(yù)測方法，其特征在于，包括以下步驟：

提取圖像數(shù)據(jù)的深度特征；

基于所述深度特征獲取所述圖片數(shù)據(jù)的偽標簽序列；以及

將所述偽標簽序列中的每個單詞以預(yù)設(shè)概率進行掩碼，獲取被遮擋的句子，并由所述被遮擋的句子恢復(fù)得到完整的句子，學習多個屬性之間的關(guān)聯(lián)關(guān)系，生成最終多屬性預(yù)測結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取圖像數(shù)據(jù)的深度特征，包括：

提取所述圖像數(shù)據(jù)的深度特征的同時，通過拋棄全局池化層保留所述深度特征的空間維度。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述深度特征獲取所述圖片數(shù)據(jù)的偽標簽序列，包括：

基于查詢向量，利用屬性解碼器從所述深度特征中提取屬性相關(guān)的至少一個特征；

由所述至少一個特征生成至少一個響應(yīng)向量，并利用多個獨立的二元分類器預(yù)測屬性值，獲取所述偽標簽序列。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述偽標簽序列中的每個單詞以預(yù)設(shè)概率進行掩碼，獲取被遮擋的句子，包括：

對于所述偽標簽序列，基于所述預(yù)設(shè)概率進隨機選取標簽以掩碼掉，得到所述被遮擋的句子；

將所述被遮擋的句子映射為多個詞向量。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述由所述被遮擋的句子恢復(fù)得到完整的句子，學習多個屬性之間的關(guān)聯(lián)關(guān)系，生成最終多屬性預(yù)測結(jié)果，包括：

將所述多個詞向量作為標簽解碼器的輸入，預(yù)測對應(yīng)的屬性。

6.一種基于標簽到標簽的多屬性預(yù)測裝置，其特征在于，包括：

提取模塊，用于提取圖像數(shù)據(jù)的深度特征；

獲取模塊，用于基于所述深度特征獲取所述圖片數(shù)據(jù)的偽標簽序列；以及

預(yù)測模塊，用于將所述偽標簽序列中的每個單詞以預(yù)設(shè)概率進行掩碼，獲取被遮擋的句子，并由所述被遮擋的句子恢復(fù)得到完整的句子，學習多個屬性之間的關(guān)聯(lián)關(guān)系，生成最終多屬性預(yù)測結(jié)果。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述提取模塊，用于：

提取所述圖像數(shù)據(jù)的深度特征的同時，通過拋棄全局池化層保留所述深度特征的空間維度。

8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述獲取模塊，用于：

基于查詢向量，利用屬性解碼器從所述深度特征中提取屬性相關(guān)的至少一個特征；

由所述至少一個特征生成至少一個響應(yīng)向量，并利用多個獨立的二元分類器預(yù)測屬性值，獲取所述偽標簽序列。

9.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述預(yù)測模塊，用于：

對于所述偽標簽序列，基于所述預(yù)設(shè)概率進隨機選取標簽以掩碼掉，得到所述被遮擋的句子；

將所述被遮擋的句子映射為多個詞向量。

10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述預(yù)測模塊，用于：

將所述多個詞向量作為標簽解碼器的輸入，預(yù)測對應(yīng)的屬性。

11.一種電子設(shè)備，其特征在于，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述程序，以實現(xiàn)如權(quán)利要求1-5任一項所述的基于標簽到標簽的多屬性預(yù)測方法。

12.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，該程序被處理器執(zhí)行，以用于實現(xiàn)如權(quán)利要求1-5任一項所述的基于標簽到標簽的多屬性預(yù)測方法。