[發明專利]一種基于候選區域面積和寬高的自適應特征塊提取方法

在審

• 申請號: 202010433564.X
• 申請日: 2020-05-21
• 公開（公告）號: CN111611998A
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 陳楚城;戴憲華
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于候選區域面積和寬高的自適應特征塊提取方法，其特征在于包括如下步驟：

(1)圖像劃分，將圖像劃分成訓練集和測試集兩部分，兩個部分不存在相同的圖像，訓練集用來訓練檢測模型，測試集用來評估檢測模型的性能，且訓練集和測試集中不僅包含圖像，還包含圖像中目標對象的位置信息和類別信息；

(2)圖像預處理，包括隨機上下翻轉、隨機左右翻轉和隨機光照改變等，其中隨機上下翻轉、隨機左右翻轉和隨機光照改變只針對訓練集，特別的，當進行隨機上下翻轉和隨機左右翻轉的時候，目標對象的坐標信息也需要做出相應的變化；

(3)訓練檢測模型，將經過圖像預處理后的訓練集中的圖像和標簽信息輸入到基于自適應特征塊提取的帶有特征金字塔網絡的Faster R-CNN的檢測模型中進行訓練，獲取各圖像中目標對象的預測框和類別，并與實際的標簽信息中的真實框和類別進行對比，計算出回歸損失和分類損失，其中回歸損失和分類損失包含了區域建議網絡的損失還有第二階段的損失，然后采用多學習任務的方法，利用帶動量的梯度下降算法進行訓練；

(4)測試檢測模型，將測試集中的圖像輸入到訓練好的基于自適應特征塊提取的帶有特征金字塔網絡的Faster R-CNN的檢測模型中進行檢測，獲得測試圖像中目標對象的位置和類型，并統計檢測模型的檢測精度。

2.根據權利要求1所述的一種基于候選區域面積和寬高的自適應特征塊提取方法，其特征是：

所述步驟(3)中訓練包括構建檢測特征圖和獲取正負樣本的步驟、獲取區域建議網絡損失值的步驟、獲取候選區域的步驟、通過自適應特征塊提取方法獲取候選區域最終特征塊的步驟、獲取第二階段損失值的步驟和多任務學習的步驟。

3.根據權利要求2所述的一種基于候選區域面積和寬高的自適應特征塊提取方法，其特征是：所述步驟(3)具體為：

(3.1)構建帶有特征金字塔網絡的Faster R-CNN檢測模型，其中骨干網絡是ResNet50。輸入圖像經過骨干網絡進行特征提取后形成不同大小的特征圖，淺層的特征圖的分辨率較大，包含的細節信息較多但語義信息較少；深層的特征圖的分辨率較小，包含的細節信息較少但語義信息較多。通過從上而下和橫向連接的方式構建檢測特征圖，形成特征金字塔網絡。對這些檢測特征圖通過卷積操作預測不同特征圖上不同特征點映射回原圖上的點的若干個anchors的前背景分類概率和相對平移縮放參數，同時不同檢測特征圖上不同特征點映射到原圖上的點對應的anchors與真實框計算交并比，如果與真實框的交并比最高或者與任意真實框的交并比大于0.7的anchor則認為是正樣本，而與所有真實框的交并比都小于0.3的anchor則認為是負樣本；

(3.2)從正負樣本集中分別選擇128個正樣本和128個負樣本，組成正負樣本比例為1:1的正負樣本集。如果正樣本集中正樣本的數目不足128個，則取出所有正樣本，并從負樣本從選取若干個負樣本，組成256個正負樣本。如果正樣本集中正樣本的數目多于128個，則采用隨機采樣的方式獲取128個正樣本。如果負樣本集中負樣本的數目多于128個，也采用隨機采樣的方式獲取128個負樣本。正樣本在此的類別為前景，負樣本在此的類別為背景，同時可以獲取正樣本與對應真實框之間的真實平移縮放參數。利用正負樣本的類別和模型預測的前背景概率值，利用交叉熵損失函數計算分類損失。利用正樣本與對應真實框的真實平移縮放參數和模型預測的相對平移縮放參數，利用smoothL1函數計算回歸損失。最終合并分類損失和回歸損失，獲取區域建議網絡的損失值；

(3.3)通過區域建議網絡的預測平移縮放參數對anchor boxes進行位置調整，得到候選框。根據候選框的預測前景概率值大小，從5個檢測特征圖中分別獲取2000個候選框，合計10000個候選框。對10000個候選框進行非極大值抑制操作，并獲取前景概率值最大的2000個候選框作為候選區域；

(3.4)獲取候選區域的面積、寬度和高度，并根據這些信息獲取相應的檢測特征圖，然后根據候選區域在原圖中的位置和感受野計算，獲取候選區域在相應檢測特征圖上的特征塊。接著對這些特征塊分別通過RoI pooling層，得到維度一致的候選區域特征塊。最后對這些候選區域特征塊進行自適應融合，獲取候選區域的最終特征塊。其中自適應融合是一種逐點取最大值的方式進行融合。

(3.5)利用候選區域的最終特征塊通過全連接層，獲取細分類的類別置信度和預測相對平移縮放參數，計算出細分類誤差和回歸誤差，其中分類損失是采用交叉熵損失函數，回歸損失是采用smoothL1函數。合并第二階段的分類損失和回歸損失，得到第二階段的損失值；

(3.6)合并區域建議網絡的損失值和第二階段的損失值，得到檢測模型總的損失值，利用帶動量的梯度下降算法進行訓練。