[發(fā)明專利]一種基于語義特征和度量學(xué)習(xí)的小樣本目標(biāo)檢測方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110603017.6
• 申請日: 2021-05-31
• 公開（公告）號: CN113255787B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計(jì)）人: 劉芳;劉靜;焦李成;李玲玲;劉旭;李鵬芳;郭雨薇;陳璞花
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/80;G06V10/774;G06V10/82;G06N3/0464;G06N3/045;G06V10/74;G06N3/08;G06F40/284;G06F40/30
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 高博

本發(fā)明公開了一種基于語義特征和度量學(xué)習(xí)的小樣本目標(biāo)檢測方法及系統(tǒng)，將查詢圖對應(yīng)的類別語義名稱作為知識，使用自然語言處理領(lǐng)域的word2vec工具計(jì)算對應(yīng)的詞向量作為語義特征，并與查詢圖的圖像特征進(jìn)行融合。通過將語義特征嵌入視覺域中，利用同類別目標(biāo)在語義空間中具有的語義一致性，減少同類別目標(biāo)間的距離，利用不同語義類別目標(biāo)在語義空間中具有的語義差異性，增加不同類目標(biāo)之間的距離，緩解現(xiàn)有基于度量學(xué)習(xí)的小樣本目標(biāo)檢測模型出現(xiàn)的不同類別但外觀視覺較相似目標(biāo)的錯檢問題和相同語義類別但外觀視覺差異較大的漏檢的問題，提升在基類與新類上的檢測精度。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像檢測技術(shù)領(lǐng)域，具體涉及一種基于語義特征和度量學(xué)習(xí)的小樣本目標(biāo)檢測方法及系統(tǒng)。

背景技術(shù)

深度學(xué)習(xí)模型在目標(biāo)檢測任務(wù)中取得了巨大的成功主要是因?yàn)樯疃壬窠?jīng)網(wǎng)絡(luò)可以從數(shù)據(jù)中學(xué)習(xí)更高級、更深層次的特征。然而深度學(xué)習(xí)模型嚴(yán)重依賴于大量的帶標(biāo)簽數(shù)據(jù)，但人工數(shù)據(jù)標(biāo)注費(fèi)時費(fèi)力、價(jià)格昂貴，并且在某些應(yīng)用領(lǐng)域本來就沒有足夠的數(shù)據(jù)積累。深度學(xué)習(xí)在數(shù)據(jù)密集型的應(yīng)用中達(dá)到了令人滿意的效果，然而當(dāng)帶標(biāo)簽的數(shù)據(jù)樣本很少時或數(shù)據(jù)集很小時，會受到阻礙。

基于度量學(xué)習(xí)的小樣本目標(biāo)檢測模型的輸入是查詢-目標(biāo)圖像對，輸出是目標(biāo)圖像中與查詢圖像相似的區(qū)域。模型在基類上訓(xùn)練時，查詢圖像與目標(biāo)圖像的標(biāo)簽都是已知的，訓(xùn)練的目的是學(xué)習(xí)查詢圖像和目標(biāo)圖像之間的相似性度量，與類別無關(guān)，然后在測試階段直接將學(xué)習(xí)到的度量用到新類數(shù)據(jù)集上。基于度量學(xué)習(xí)的小樣本目標(biāo)檢測模型的本質(zhì)思想是學(xué)習(xí)目標(biāo)圖像中各候選框與查詢圖像之間在視覺域空間中的相似性度量。該類模型只關(guān)注候選框內(nèi)前景對象的視覺域特征與查詢圖像的視覺域特征是否相似，不去關(guān)注待檢測目標(biāo)具體屬于哪一類，與類別無關(guān)，查詢圖像的目標(biāo)類別信息并沒有被用到。因此，使用該類模型進(jìn)行小樣本目標(biāo)檢測，會出現(xiàn)不同類相似目標(biāo)的錯檢問題和同類不相似目標(biāo)的漏檢的問題。

而類別所對應(yīng)的語義域知識，如類別名稱、類別屬性等都是對一個類別的概括。不論目標(biāo)之間在視覺域中存在多大的差異，對于同類的所有目標(biāo)來說，其類別名稱都是固定不變的；并且對于不同類目標(biāo)來說，不論在視覺上多么接近，其類別名稱都是有差異性的。零樣本學(xué)習(xí)方法使用了視覺域與語義域兩個域的信息，通過學(xué)習(xí)視覺域與語義域之間的聯(lián)系，實(shí)現(xiàn)了給定新類語義域信息(類別屬性、類別名稱等)，在沒有視覺域圖像數(shù)據(jù)的場景下對新類類對象的識別。因此，考慮到已有基于度量學(xué)習(xí)的模型存在的問題，結(jié)合零樣本學(xué)習(xí)思想，本發(fā)明利用已有模型未用到的查詢圖像的類別名稱作為語義知識，通過自然語言處理領(lǐng)域中word2vec工具計(jì)算每個類別名稱對應(yīng)的詞向量，將其作為語義特征，設(shè)計(jì)合理的特征對齊模塊，將語義特征嵌入到視覺特征中，實(shí)現(xiàn)知識傳遞，以獲得更好、更豐富的查詢圖像的特征，進(jìn)而提升檢測結(jié)果。

目前基于度量學(xué)習(xí)的小樣本目標(biāo)檢測方法主要通過學(xué)習(xí)目標(biāo)圖像中各候選框與查詢圖像之間的相似性度量，不論是在訓(xùn)練過程還是在測試過程，模型只關(guān)注候選框與查詢圖像是否為相似區(qū)域，而不去關(guān)注具體的類別。使用該類方法進(jìn)行小樣本目標(biāo)檢測，會出現(xiàn)不同類相似目標(biāo)的錯檢問題和同類不相似目標(biāo)的漏檢的問題。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題在于針對上述現(xiàn)有技術(shù)中的不足，提供一種基于語義特征和度量學(xué)習(xí)的小樣本目標(biāo)檢測方法及系統(tǒng)，在訓(xùn)練過程中，通過利用基類中查詢圖像已知的類別標(biāo)簽作為語義知識，使用自然語言處理領(lǐng)域中的word2vec工具計(jì)算對應(yīng)的語義特征，將該語義特征傳遞到視覺域空間中，與視覺域特征結(jié)合，得到包含類別語義信息的特征。通過引入該語義信息，拉大不同類目標(biāo)之間的距離，縮小同類目標(biāo)間的距離；解決同類目標(biāo)外觀可能差異太大，不同類目標(biāo)外觀可能差異太小所導(dǎo)致的錯檢、漏檢的問題，提升在基類與新類數(shù)據(jù)上的檢測精度。

本發(fā)明采用以下技術(shù)方案：

一種基于語義特征和度量學(xué)習(xí)的小樣本目標(biāo)檢測方法，包括以下步驟：

S1、對類別集合C進(jìn)行劃分，根據(jù)類別劃分得到基類類別與新類類別，并根據(jù)基類類別與新類類別將圖像數(shù)據(jù)集劃分為基類圖像數(shù)據(jù)集與新類圖像數(shù)據(jù)集；