[發明專利]一種基于分段困難樣本生成的檢索方法及裝置

有效

• 申請號: 202010586972.9
• 申請日: 2020-06-24
• 公開（公告）號: CN111858999B
• 公開（公告）日: 2022-10-25
• 發明（設計）人: 祝闖;董慧慧;齊勇剛;劉軍;劉芳
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/538;G06F16/55;G06V10/774;G06V10/764;G06V10/82;G06N3/04
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;馬敬

本發明實施例提供了一種基于分段困難樣本生成的檢索方法及裝置，其中，方法包括：使用原始三元圖像組的樣本集中的所有樣本，通過對原始三元圖像組的樣本集中每一組原始三元圖像組增加困難程度；并且在THSG的第一階段中，增加正樣本對的困難程度，得到困難正樣本對的同時，保證困難正樣本對的標簽與原始正樣本對的標簽一致，以及在第二階段增加原始負樣本的困難程度，得到最終困難負樣本和最終困難正樣本對，提高樣本集的有效使用性。進一步的，使用最終困難三元樣本組，能夠為較少的訓練集補充有效的困難樣本，從而使得模型能夠更好的被訓練。同時，通過使用困難樣本對訓練，得到更加強健、魯棒的特征提取的檢索模型。

技術領域

本發明涉及圖像處理技術領域，特別是涉及一種基于分段困難樣本生成的檢索方法及裝置。

背景技術

深度度量學習(Deep Metric Learning，簡稱DML)方法旨在學習功能強大的度量準則，以準確而穩健地測量數據之間的相似性。目前，DML的發展使其能夠廣泛的應用于各個領域，例如圖像檢索，人員重新識別，聚類等多媒體任務領域。

以上述圖像檢索為例進行說明。目前基于DML的圖像檢索方法有多種，主要有一種基于度量學習構建模型方法，而，在度量學習中，多組三元圖像組樣本作為構建模型的輸入，其中，每組三元圖像組樣本是由同一標簽的一對正樣本以及與該正樣本的標簽不同的負樣本組成的。但是，在一些小規模數據集中，能夠構建出的三元圖像組樣本數量有限。比如在野生動物圖像檢索過程中，由于一些野生珍稀動物的圖像數據量較小，使用上述方式構建出的關于野生珍稀動物的三元圖像組樣本數量過少，使得模型無法進行有效的訓練，進而降低了檢索動物圖像的有效性。

總之，在一些小規模數據集中，能夠構建出的三元圖像組樣本數量有限，使得模型無法進行有效的訓練，從而降低了檢索的有效性。

發明內容

本發明實施例的目的在于提供一種基于分段困難樣本生成的檢索方法及裝置，用以解決現有技術中在一些小規模數據集中，能夠構建出的三元圖像組樣本數量有限，使得模型無法進行有效的訓練，從而降低了檢索的有效性的技術問題。具體技術方案如下：

第一方面，本發明實施例提供了基于分段困難樣本生成的檢索方法，包括：

提取待檢索圖像的特征；

將所述待檢索圖像的特征作為檢索模型的輸入，通過所述檢索模型，得到與所述待檢索圖像相關的檢索結果，以及所述待檢索圖像的特征與所述檢索模型數據庫中圖像的特征之間的距離分數；其中，所述檢索模型是基于作為樣本集的原始三元圖像組以及通過兩階段的困難樣本生成框架THSG得到的最終困難三元樣本組訓練得到的；其中，所述最終困難三元樣本組是通過所述THSG的第一階段中，對原始三元圖像組中原始正樣本對增加困難程度，得到困難正樣本對；調整所述困難正樣本對的標簽與所述原始正樣本對的標簽一致，輸出調整后困難正樣本對和所述原始三元圖像組中原始負樣本至所述THSG的第二階段；在所述THSG的第二階段中，對所述原始負樣本增加困難程度，得到最終困難負樣本及最終困難正樣本對；合成所述最終困難正樣本對與所述最終困難負樣本，得到最終困難三元樣本組；

根據所述距離分數的高低，對與所述待檢索圖像相關的檢索結果進行排序，得到與所述待檢索圖像最相關的檢索結果。

進一步的，所述提取待檢索圖像的特征，包括：

提取待檢索動物圖像的特征；

所述將所述待檢索圖像的特征作為檢索模型的輸入，通過所述檢索模型，得到與所述待檢索圖像相關的檢索結果，以及所述待檢索圖像的特征與所述檢索模型數據庫中圖像的特征之間的距離分數，包括：

將所述待檢索動物圖像的特征作為檢索模型的輸入，通過所述檢索模型，得到與所述待檢索動物圖像相關的檢索結果，以及所述待檢索動物圖像的特征與所述檢索模型數據庫中圖像的特征之間的距離分數；