[發明專利]一種基于分段困難樣本生成的檢索方法及裝置

有效

• 申請號: 202010586972.9
• 申請日: 2020-06-24
• 公開（公告）號: CN111858999B
• 公開（公告）日: 2022-10-25
• 發明（設計）人: 祝闖;董慧慧;齊勇剛;劉軍;劉芳
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/538;G06F16/55;G06V10/774;G06V10/764;G06V10/82;G06N3/04
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;馬敬

1.一種基于分段困難樣本生成的檢索方法，其特征在于，包括：

提取待檢索圖像的特征；

將所述待檢索圖像的特征作為檢索模型的輸入，通過所述檢索模型，得到與所述待檢索圖像相關的檢索結果，以及所述待檢索圖像的特征與所述檢索模型數據庫中圖像的特征之間的距離分數；其中，所述檢索模型是基于作為樣本集的原始三元圖像組以及通過兩階段的困難樣本生成框架THSG得到的最終困難三元樣本組訓練得到的；其中，所述最終困難三元樣本組是通過所述THSG的第一階段中，對原始三元圖像組中原始正樣本對增加困難程度，得到困難正樣本對；調整所述困難正樣本對的標簽與所述原始正樣本對的標簽一致，輸出調整后困難正樣本對和所述原始三元圖像組中原始負樣本至所述THSG的第二階段；在所述THSG的第二階段中，對所述原始負樣本增加困難程度，得到最終困難負樣本及最終困難正樣本對；合成所述最終困難正樣本對與所述最終困難負樣本，得到最終困難三元樣本組；

根據所述距離分數的高低，對與所述待檢索圖像相關的檢索結果進行排序，得到與所述待檢索圖像最相關的檢索結果；

通過如下步驟，得到所述檢索模型：

獲取作為樣本集的原始三元圖像組；

在兩階段的困難樣本生成框架THSG的第一階段中，采用分段線性拉伸PLM的方式，對所述原始正樣本對拉伸，增加困難程度，得到困難正樣本對；其中，所述困難正樣本對包括：困難候選樣本和困難正樣本；

基于已訓練第一生成對抗神經網絡，調整所述困難正樣本對的標簽與所述原始正樣本對的標簽一致，輸出調整后困難正樣本對，以及所述原始負樣本至所述THSG的第二階段；其中，所述已訓練第一生成對抗神經網絡包括：困難正樣本對生成器HAPG及與所述HAPG對應的鑒別器HAPD；

在所述THSG的第二階段中，基于已訓練第二生成對抗神經網絡，對所述原始負樣本增加困難程度，得到最終困難負樣本，并輸出最終困難正樣本對；其中，所述已訓練第二生成對抗神經網絡包括：困難三元樣本生成器HTG以及與所述HTG對應的鑒別器HTD；

合成所述最終困難正樣本對與所述最終困難負樣本，得到最終困難三元樣本組；

將最終困難三元樣本組作為樣本集，訓練卷積神經網絡，得到所述檢索模型。

2.如權利要求1所述的方法，其特征在于，所述提取待檢索圖像的特征，包括：

提取待檢索動物圖像的特征；

所述將所述待檢索圖像的特征作為檢索模型的輸入，通過所述檢索模型，得到與所述待檢索圖像相關的檢索結果，以及所述待檢索圖像的特征與所述檢索模型數據庫中圖像的特征之間的距離分數，包括：

將所述待檢索動物圖像的特征作為檢索模型的輸入，通過所述檢索模型，得到與所述待檢索動物圖像相關的檢索結果，以及所述待檢索動物圖像的特征與所述檢索模型數據庫中圖像的特征之間的距離分數；

所述根據所述距離分數的高低，對與所述待檢索圖像相關的檢索結果進行排序，得到所述待檢索圖像最相關的檢索結果，包括：

根據所述距離分數的高低，對與所述待檢索圖像相關的檢索結果進行排序，得到與所述待檢索動物圖像最相關的動物檢索結果。

3.如權利要求1所述的方法，其特征在于，所述基于已訓練第一生成對抗神經網絡，調整所述困難正樣本對的標簽與所述原始正樣本對的標簽一致，輸出調整后困難正樣本對，以及所述原始負樣本至所述THSG的第二階段，包括：

基于已訓練第一生成對抗神經網絡和已訓練第三生成對抗神經網絡，調整所述困難正樣本對的標簽與所述原始正樣本對的標簽一致，輸出調整后困難正樣本對以及所述原始負樣本至所述THSG的第二階段，其中，所述已訓練第三生成對抗神經網絡包括：重建條件生成器RCG以及與所述RCG對應的鑒別器RCD。