[發明專利]一種改進的基于陸標-卷積特征的圖像方法

在審

• 申請號: 202010903567.5
• 申請日: 2020-09-01
• 公開（公告）號: CN111767905A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 王燕清;王寅同;石朝俠
• 申請（專利權）人: 南京曉莊學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/32;G06N3/04;G06N3/08
• 代理公司: 北京權智天下知識產權代理事務所(普通合伙) 11638
• 代理人: 王新愛

1.一種改進的基于陸標-卷積特征的圖像方法，其特征在于：采用陸標生成機制，即直接根據卷積層的激活值識別圖像中的ROI，利用一種專為閉環檢測任務設計的無監督深度神經網絡提取陸標的卷積特征，該閉環檢測同時具有視點不變性和外觀不變性的特點，濾除環境中顯著存在的動態對象，主要由四個部分組成：

a.圖像預處理：首先利用目標檢測網絡識別場景圖像幀中的動態因子，然后對這些區域采用圖像的濾波處理，濾出場景中的動態對象；

b.陸標生成：將預處理后的圖像輸入到預先訓練的卷積神經網絡中，然后直接從卷積神經網絡的最后一層卷積層識別出感興趣區域，對每一幅查詢幀和數據庫圖像分別識別出感興趣區域生成陸標特征標識；

c.卷積特征提取：利用一個無監督的深度神經網絡對從圖像中生成的每一個陸標提取卷積特征描述子，得到對應的特征向量；

d.場景檢索：最后根據匹配的陸標對計算查詢幀和每一幅數據庫圖像之間的整體相似度，以確定查詢幀的最佳匹配參考幀。

2.根據權利要求1所述的一種改進的基于陸標-卷積特征的圖像方法，其特征在于：圖像預處理階段，利用YOLOv4作為場景中的動態因子檢測的工具，其訓練在Pascal VOCdataset上的預訓練模型能夠正確區分閉環檢測任務中出現的大多數動態對象，無需重新進行訓練可直接使用其提供的預訓練模型。

3.根據權利要求1所述的一種改進的基于陸標-卷積特征的圖像方法，其特征在于：在檢測出圖像中存在的動態對象的區域之后，采用圖像平均模糊的方法處理這部分區域，覆蓋掉動態目標信息。

4.根據權利要求1所述的一種改進的基于陸標-卷積特征的圖像方法，其特征在于：識別圖像的感興趣區域生成陸標具體步驟：

把每一幀經動態濾除處理后的圖像作為卷積神經網絡AlexNet的輸入，直接通過該卷積網絡的最后一層卷積層輸出圖像對應的特征映射；

將這些特征映射的所有非零激活值及其周圍8個相鄰的激活值分別聚為一類，記為，M表示一幅圖像中的聚類數目，每個聚類的能量值可計算為：

其中表示第i個聚類的大小， 表示中的第j個激活值；

c.在得到M個聚類的能量值之后，取其中T個具有最大能量值的聚類映射回原圖像中作為最終生成的陸標集合，記為： 。

5.根據權利要求1所述的一種改進的基于陸標-卷積特征的圖像方法，其特征在于：對于生成的每個陸標，利用構建的無監督卷積自動編碼器網絡來提取卷積特征描述符；路標作為輸入,X表示HOG特征的維度，表示重建的特征描述子的維度，在自編碼模型中，對三個卷積層使用的是線性整流函數（ReLU）激活，對全連接層使用sigmoid激活以便網絡重建HOG特征，當訓練結束時，網絡即具備學習重建HOG特征的能力，對于相同大小的輸入提取的HOG特征的維度是相同的，可以利用歐幾里得距離作為HOG描述子的距離度量，在損失層利用損失函數來比較X和其重建的的大小：。

6.根據權利要求1所述的一種改進的基于陸標-卷積特征的圖像方法，其特征在于：為了計算查詢幀和參考幀之間的相似性得分，交叉匹配從這兩幅圖像中提取的所有陸標，利用余弦距離度量的陸標與的陸標之間的相似性。