[發明專利]一種訓練圖像分類模型、圖像搜索的方法及相關裝置

在審

• 申請號: 202110649832.6
• 申請日: 2021-06-10
• 公開（公告）號: CN113392898A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 牛周周;劉慧慧;周澤南
• 申請（專利權）人: 北京搜狗科技發展有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種訓練圖像分類模型的方法，其特征在于，包括：

利用預設圖像分類模型的特征提取層，對搜索圖像和圖庫圖像進行特征提取匹配，獲得所述搜索圖像的相似圖像形成相似圖像集；所述搜索圖像是通過歷史用戶輸入文本進行圖像搜索獲得的，所述搜索圖像標記有內容類別標簽；

基于所述相似圖像的圖像特征，對所述相似圖像集進行密度聚類清洗獲得目標相似圖像集；

利用所述目標相似圖像集中相似圖像和各相似圖像標記的內容類別標簽，對預訓練分類模型進行微調訓練獲得目標圖像分類模型。

2.根據權利要求1所述的方法，其特征在于，所述基于所述相似圖像的圖像特征，對所述相似圖像集進行密度聚類清洗獲得目標相似圖像集，包括：

基于所述相似圖像的圖像特征、密度聚類簇的距離閾值和數量閾值，對所述相似圖像集中相似圖像進行密度聚類，確定不屬于密度聚類簇的相似圖像為異常圖像；所述距離閾值是指構成密度聚類簇的相似圖像之間的圖像特征距離的上限值，所述數量閾值是指構成密度聚類簇的相似圖像數量的下限值；

對所述相似圖像集中所述異常圖像進行清洗，獲得所述目標相似圖像集。

3.根據權利要求1所述的方法，其特征在于，所述利用預設圖像分類模型的特征提取層，對搜索圖像和圖庫圖像進行特征提取匹配，獲得所述搜索圖像的相似圖像形成相似圖像集，包括：

利用所述預設圖像分類模型的特征提取層，對所述搜索圖像和所述圖庫圖像進行特征提取，獲得所述搜索圖像的圖像特征和所述圖庫圖像的圖像特征；

基于所述搜索圖像的圖像特征和所述圖庫圖像的圖像特征，獲得每個搜索圖像與每個圖庫圖像的圖像特征距離；

基于所述每個搜索圖像與每個圖庫圖像的圖像特征距離，從所述圖庫圖像中篩選出每個搜索圖像的相似圖像，形成各搜索圖像對應的相似圖像集。

4.根據權利要求1所述的方法，其特征在于，所述預訓練分類模型是基于多類別標簽樣本數據訓練分類網絡獲得的；其中，所述多類別標簽樣本數據包括多類別標簽樣本圖像以及每個樣本圖像標記的多個內容類別標簽，所述多類別標簽樣本圖像是指標記有多個內容類別標簽的樣本圖像。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取單類別標簽樣本數據；所述單類別標簽樣本數據包括單類別標簽樣本圖像以及每個樣本圖像標記的內容類別標簽，所述單類別標簽樣本圖像是指僅標記有單個內容類別標簽的樣本圖像；

對應地，所述利用所述目標相似圖像集中相似圖像和各相似圖像標記的內容類別標簽，對預訓練分類模型進行微調訓練獲得目標圖像分類模型，為：

利用所述目標相似圖像集中相似圖像、各相似圖像標記的內容類別標簽和所述單類別標簽樣本數據，對所述預訓練分類模型進行多任務微調訓練獲得所述目標圖像分類模型。

6.一種圖像搜索的方法，其特征在于，利用如權利要求1-5任一項所述的目標圖像分類模型，所述方法包括：

利用所述目標圖像分類模型的特征提取層，對目標搜索圖像和圖庫圖像進行特征提取，獲得所述目標搜索圖像的圖像特征和所述圖庫圖像的圖像特征；

對所述目標搜索圖像的圖像特征和所述圖庫圖像的圖像特征進行匹配，確定所述目標搜索圖像的目標相似圖像，所述目標相似圖像與所述目標搜索圖像的風格一致。

7.一種訓練圖像分類模型的裝置，其特征在于，包括：

特征提取匹配單元，用于利用預設圖像分類模型的特征提取層，對搜索圖像和圖庫圖像進行特征提取匹配，獲得所述搜索圖像的相似圖像形成相似圖像集；所述搜索圖像是通過歷史用戶輸入文本進行圖像搜索獲得的，所述搜索圖像標記有內容類別標簽；

密度聚類清洗單元，用于基于所述相似圖像的圖像特征，對所述相似圖像集進行密度聚類清洗獲得目標相似圖像集；

微調訓練單元，用于利用所述目標相似圖像集中相似圖像和各相似圖像標記的內容類別標簽，對預訓練分類模型進行微調訓練獲得目標圖像分類模型。