[發明專利]一種基于深度神經網絡的關鍵點檢測方法

在審

• 申請號: 202210947930.2
• 申請日: 2022-08-09
• 公開（公告）號: CN115546469A
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 劉金霞;張云劍;蔣成龍
• 申請（專利權）人: 浙江萬里學院
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06N3/04;G06N3/08;G06V10/44;G06V10/764;G06V10/774;G06V10/82
• 代理公司: 寧波甬致專利代理有限公司 33228
• 代理人: 黃江

本發明提供了一種基于深度神經網絡的關鍵點檢測方法，包括：步驟S1，對至少一輸入圖像進行特征提取處理得到包含多個網格的一特征圖；步驟S2，針對特征圖上的每個網格，統計網格內每個像素點的激活值并將激活值最大的像素點作為候選點；步驟S3，對各候選點對應的激活值由大至小進行排序，取排序靠前的預設數量的各激活值所對應的各候選點作為關鍵點；步驟S4，針對每個關鍵點，于特征圖內裁剪得到包含關鍵點的一圖像塊；步驟S5，針對每個圖像塊，對圖像塊依次進行特征提取處理、通道整合處理和編碼處理得到對應的一描述符。有益效果是本發明能夠根據輸入圖像處理得到統一的描述符，不受輸入圖像類別的影響，具有廣泛的應用前景。

技術領域

本發明涉及深度學習的技術領域，具體而言，涉及一種基于深度 神經網絡的關鍵點檢測方法。

背景技術

關鍵點檢測及描述是眾多計算機視覺任務的核心，包括圖像配 準、相機參數矯正、圖像拼接、三維重建以及圖像水印等，一般而言， 處理過程分為兩步：首先是對圖像中的關鍵點進行定位也就是關鍵點 檢測；然后利用定位得到的關鍵點所在鄰域圖像的特征對該關鍵點進 行描述，得到描述符。

近年來，隨著自動駕駛、無人機等技術的發展，全景圖逐漸成為 了一種主流的圖像類型，這種圖像類型具有視域廣、表達能力強的優 點，在實際系統中得到了廣泛應用，然而，相比于傳統透視平面圖像 關鍵點檢測技術的迅速發展，全景圖的關鍵點檢測技術進展緩慢，其 中主要原因就是全景圖的幾何結構較為復雜，難以直接用傳統方法進 行處理，當前的主流方法有兩種：第一種是直接用傳統平面關鍵點檢 測方法對全景圖進行操作，這些方法受限于全景圖的復雜幾何結構， 精度有限；另一種是針對全景圖的幾何特征，設計特定的方法，在非 歐幾里得空間進行操作，然而，這些方法只能對球面圖像進行處理， 而無法對球面圖和視角圖提供統一的描述符。

發明內容

本發明要解決的是如何對球面圖和視角圖提供統一的描述符的 問題。

為解決上述問題，本發明提供一種基于深度神經網絡的關鍵點檢 測方法，包括以下步驟：

步驟S1，對至少一輸入圖像進行特征提取處理得到包含多個網 格的一特征圖；

步驟S2，針對所述特征圖上的每個所述網格，統計所述網格內 每個像素點的激活值并將激活值最大的所述像素點作為候選點；

步驟S3，對各所述候選點對應的所述激活值由大至小進行排序， 取排序靠前的預設數量的各所述激活值所對應的各所述候選點作為 關鍵點；

步驟S4，針對每個所述關鍵點，于所述特征圖內裁剪得到包含 所述關鍵點的一圖像塊；

步驟S5，針對每個所述圖像塊，對所述圖像塊依次進行特征提 取處理、通道整合處理和編碼處理得到對應的一描述符。

本方案中，不論所述輸入圖像是視角圖像還是全景圖像，通過本 方法都可以處理得到對應的所述關鍵點和所述描述符，且處理得到的 所述描述符位于視角切面空間域中，實現所述描述符的統一。

優選的，執行所述步驟S5之后還包括：

將各所述關鍵點和各所述關鍵點對應的所述描述符輸入至預先 訓練得到的一關鍵點篩選模型內篩選得到準確的所述關鍵點和所述 關鍵點對應的所述描述符。

本方案中，通過所述關鍵點篩選模型可以對所述步驟S3中得到 的各所述關鍵點和所述步驟S5中得到的各所述描述符進行篩選，以 篩選出準確的所述關鍵點和所述關鍵點對應的所述描述符，提高所述 關鍵點和所述描述符的準確性。

優選的，執行所述步驟S1之前還包括一模型訓練過程，所述模 型訓練過程包括：

步驟A1，獲取至少一歷史圖像及所述歷史圖像對應的多個歷史 關鍵點和各所述歷史關鍵點對應的歷史描述符；