[發明專利]基于預測框自動修正的邊框回歸神經網絡構建方法

有效

• 申請號: 202011023567.2
• 申請日: 2020-09-25
• 公開（公告）號: CN112508168B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 劉晉;李怡瑤;高珍喻
• 申請（專利權）人: 上海海事大學
• 主分類號: G06N3/047
• 分類號: G06N3/047;G06N3/09
• 代理公司: 上海互順專利代理事務所(普通合伙) 31332
• 代理人: 成秋麗

本發明披露一種基于預測框自動修正的邊框回歸神經網絡構建方法。該方法由一種基于相對熵損失函數的具有定位置信度的檢測網絡和一種改進的基于置信估計的定位精度方法組成。為解決目標定位不精確的問題，本發明提出一種新的基于相對熵的邊框回歸損失函數，不僅學習邊框回歸，同時定位學習不確定性；同時本發明結合概率分布引入方差投票機制，利用對相鄰位置的預測方差加權，來對候選框的位置進行投票，從而得到定位更加準確的邊框。本發明提供的方法網絡適配性強、魯棒性強，可結合多種目標檢測神經網絡使用以提高檢測精度。通過將該方法在知名數據集上的進行實驗，實驗結果表明該方法的檢測準確度高達0.402，優于多數已有方法，證明了其有效性。

技術領域

本發明屬于數字圖像處理及深度學習領域，特別涉及在檢測網絡生成的目標預測框不準確的情況下對邊框回歸優化方法，具體涉及一種基于預測框自動修正的邊框回歸神經網絡構建方法。

背景技術

幾十年來，非極大值抑制(NMS)一直是計算機視覺的重要組成部分，廣泛應用于邊緣檢測、特征點檢測和目標檢測。當下的目標檢測算法，大多使用anchor機制或者滑窗機制對同一位置生成多種尺度的anchor，這樣產生的檢測結果有很大的冗余。所以需要加入NMS來對冗余的框進行處理。

除了傳統的NMS算法之外，近期又有研究者提出了Soft-NMS算法和Learning-NMS算法。傳統的NMS算法與Soft-NMS算法如算法1所示。

傳統NMS算法保留得分最高的框，同時將與該框的IoU大于閾值N_t的框全部刪除，這種做法存在著以下幾種問題：(1)當兩個物體重疊時，這樣的處理方法會丟失其中一個物體的預測框。(2)定位置信度與分類置信度并不是強相關關系，得到的所有預測框中，存在一定程度上不精準的框。為了解決這些問題，Soft-NMS利用線性插值或者高斯法對置信分數非極大值的框進行處理，代替原本的直接置0的操作，將這些框的置信度降低，其中線性法如下式所示：

高斯法如下式所示：

Learning?NMS算法提出了一種新的神經網絡，用預測框和它們的置信分數來執行NMS。除了對NMS算法的優化以外，也有一些研究人員著眼于對邊界框的優化。MR-CNN在迭代定位的過程中對邊界框進行合并，Relation?Network提出學習邊界框之間的關系。IoU-Net提出學習預測邊界框和ground-truth邊界框之間的IoU，然后根據學到的IoU對預測框進行IoU-NMS。與IoU-Net不同，本文提出的基于相對熵的相對熵損失函數(Kullback–Leiblerloss，KL?loss)從概率的角度來學習局部化方差，能夠學習預測邊界框的四個坐標的方差，而不是僅僅學習IoU。

目標檢測的最終目的是要準確定位圖像中目標的位置并且生成分類結果，為了達到更好的定位效果，邊框回歸是必不可少的步驟。邊框回歸指的是目標檢測過程中對產生的候選框以標注好的真實框為目標進行逼近的過程。由于一幅圖像上目標的邊框可以由中心點坐標(x_c,x_c)和寬W高H唯一確定，所以這種逼近的過程可以建模為回歸問題。傳統的邊框回歸損失有smooth?L1?loss，計算方式如下式所示。

smooth?L1?loss能從兩個方面限制梯度：(1)當預測框與ground?truth差別過大時，梯度值不至于過大；(2)當預測框與ground?truth差別很小時，梯度值足夠小，因此可以避免梯度爆炸的問題，達到一個較好的訓練效果。但是，smooth?L1?loss只限定了梯度，并沒有將邊界框的不確定性考慮進去。而現實場景圖像上的目標可能會存在互相遮擋的情況，這就會導致邊框不確定。除此之外，目標的分類結果依賴于分類器得到的置信分數，當分類分數很高的情況下，邊框回歸都被假定是準確的，但事實并不總是這樣。這更說明了邊框回歸存在不準確的情況。

發明內容