[發明專利]一種基于無監督深度學習的閉環檢測方法

有效

• 申請號: 202010360548.2
• 申請日: 2020-04-30
• 公開（公告）號: CN111626417B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 石朝俠;汪丹
• 申請（專利權）人: 南京理工大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06V10/25;G06V10/46;G06V10/74;G06V10/82;G06V10/762
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 王瑋

1.一種基于無監督深度學習的閉環檢測方法，其特征在于，包括以下步驟：1)將場景查詢幀和場景數據庫圖像輸入到預先訓練的vgg-16卷積神經網絡中，直接從卷積神經網絡的卷積層識別出感興趣區域；2)對每一幅場景查詢幀和場景數據庫圖像，用識別出的感興趣區域生成陸標；3)利用一個無監督的深度神經網絡對從圖像中生成的每一個陸標提取卷積特征描述子，得到對應的特征向量；4)通過計算場景查詢幀陸標向量和每一幅場景數據庫圖像的陸標向量之間的余弦距離來交叉匹配兩幀的陸標區域，保留相互匹配的陸標；5)根據匹配的陸標對計算場景查詢幀和每一幅場景數據庫圖像之間的整體相似度，得到最佳匹配，根據真實場景對應關系判斷是否能正確檢測閉環；

步驟3)中所述無監督深度神經網絡用于訓練該網絡學習提取HOG特征的能力；當訓練結束時，網絡即具備學習重建HOG特征的能力，僅保留三個卷積層及對應的池化層，丟棄掉除此之外所有的網絡層來提取圖像的卷積特征；

所述步驟4)中，交叉匹配從兩幅圖像中提取的所有陸標，利用余弦距離度量場景查詢幀I_q的一個陸標u與場景數據庫幀中的每一幅圖像的一個陸標v之間的相似性：式中，d_u,v即為u和v的余弦距離，其中分別表示對I_q中的陸標u和中的陸標v提取的卷積特征向量，‖·‖表示向量的長度；

使用線性搜索來確定I_q和所有陸標之間的匹配，并應用交叉檢查以僅接受相互匹配的陸標；對于每一個匹配的陸標對(u,v)，根據它們的區域大小確定其權重，權重記為W_u,v：式中，h_u，h_v，w_u，w_v分別為(u,v)區域的高和寬，|h_u-h_v|和|w_u-w_v|分別表示兩個區域的高的差值的絕對值和寬的差值的絕對值。

2.根據權利要求1所述的基于無監督深度學習的閉環檢測方法，其特征在于：步驟1中，按照vgg-16網絡的輸入要求，將所有圖像調整為224*224大小作為vgg-16網絡的輸入，利用這個卷積神經網絡的深層卷積層獲得圖像對應的特征映射，然后將所有非零的激活值和其周圍8個相鄰的激活值分別聚為一類作為識別出的圖像的感興趣區域。

3.根據權利要求2所述的基于無監督深度學習的閉環檢測方法，其特征在于：步驟2中，計算每一個聚類C_i的能量值E_i：

式中，|c_i|表示第i個聚類的大小，表示C_i中的第j個激活值。

4.根據權利要求3所述的基于無監督深度學習 的閉環檢測方法，其特征在于：步驟2中，選取其中前100個具有最大能量值的聚類作為當前圖像生成的陸標。

5.根據權利要求1所述的基于無監督深度學習的閉環檢測方法，其特征在于，最終I_q和整體相似性得分為：

6.根據權利要求1所述的基于無監督深度學習的閉環檢測方法，其特征在于：步驟5中，對于每一幀查詢圖像I_q，遍歷并計算其與數據庫中所有圖像的相似性得分，其中得分最高的圖像即為I_q的最佳匹配：

Z即表示與I_q具有最高的相似性得分的參考幀，從而得到場景數據庫中與場景查詢幀相似的場景。