[發明專利]圖像處理方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202010467165.5
• 申請日: 2020-05-28
• 公開（公告）號: CN111626362A
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 郭卉
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 常忠良

1.一種圖像處理方法，其特征在于，包括：

獲得待處理的圖像以及所述圖像關聯的至少一種描述文本，所述圖像標注有類別標簽；

提取所述圖像的圖像特征；

基于所述圖像的至少一種描述文本，確定所述圖像的文本特征，所述文本特征為所述圖像的至少一種描述文本中能夠反映所述圖像所屬類別的特征信息；

利用第一特征映射模型，將所述圖像的圖像特征轉換為用于反映所述圖像所屬的類別標簽的第一標簽特征；

基于第二特征映射模型，確定所述圖像的文本特征對應的第二標簽特征，所述第二標簽特征表示所述圖像的文本特征中表達出的用于反映所述圖像所屬的類別標簽的特征，第一特征映射模型和第二特征映射模型為利用與所述圖像具有相同的類別標簽的多個第一圖像樣本作為訓練樣本，并基于所述第一圖像樣本的圖像特征和文本特征訓練得到的，所述第一圖像樣本的文本特征為基于所述第一圖像樣本關聯的描述文本確定的；

如所述第一標簽特征和所述第二標簽特征的匹配度符合條件，則確定所述圖像標注的類別標簽正確。

2.根據權利要求1所述的方法，其特征在于，所述基于所述圖像的至少一種描述文本，確定所述圖像的文本特征，包括：

確定所述圖像關聯的至少一種描述文本對應的文本向量；

將所述圖像對應的文本向量輸入到文本特征提取模型，并提取所述文本特征提取模型的中間層輸出特征，將提取出的輸出特征確定為所述圖像的文本特征，所述文本特征提取模型為將標注有類別標簽的多個第二圖像樣本作為訓練樣本，并基于所述第二圖像樣本關聯的描述文本所對應的文本向量訓練得到的。

3.根據權利要求1或2所述的方法，其特征在于，在確定出所述圖像的文本特征之后，還包括：

利用文本分類模型確定所述圖像的文本特征對應的目標圖像類別，所述文本分類模型為將標注有類別標簽的多個第三圖像樣本作為訓練樣本，并基于所述第三圖像樣本關聯的描述文本對應的文本特征訓練得到；

確定用于表示所述目標圖像類別的文本類別特征；

所述基于第二特征映射模型，確定所述圖像的文本特征對應的第二標簽特征，包括：

利用第二特征映射模型，將所述文本類別特征轉換為第二標簽特征。

4.根據權利要求3所述的方法，其特征在于，所述確定用于表示所述目標圖像類別的文本類別特征，包括：

按照不同圖像類別與文本類別特征的對應關系，確定所述目標圖像類別的文本類別特征，其中，圖像類別對應的文本類別特征為依據屬于所述目標圖像類別的多個第四圖像樣本的文本特征，確定出的處于類別中心的第四圖像樣本的文本特征。

5.根據權利要求1所述的方法，其特征在于，所述第一特征映射模型和第二特征映射模型為至少利用類別標簽標注正確的至少一個第一圖像樣本作為訓練樣本，并按照設定的訓練目標，基于所述第一圖像樣本的圖像特征和文本特征訓練得到的；

所述訓練目標為所述類別標簽標注正確的第一圖像樣本對應的第三標簽特征與第四標簽特征的匹配度符合條件；

其中，所述第三標簽特征為所述第一特征映射模型將第一圖像樣本的圖像特征轉換出的標簽特征；所述第四標簽特征為基于所述第二特征映射模型確定出的所述第一圖像樣本的文本特征對應的標簽特征。