[發明專利]基于改進Faster-RCNN的大壩裂縫檢測模型及方法

有效

• 申請號: 202010595456.2
• 申請日: 2020-06-28
• 公開（公告）號: CN113408327B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 韓旭;許國艷;蘇心玥;王健
• 申請（專利權）人: 河海大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/764;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06T3/40;G06T7/00
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于改進Faster-RCNN的大壩裂縫檢測模型進行大壩裂縫檢測的方法，其特征在于，包括：

根據基于改進Faster-RCNN的大壩裂縫檢測模型結構構建預訓練模型；

對采集的大壩裂縫相關的樣本圖像進行預處理，獲得樣本數據集；

利用所述樣本數據集，基于訓練算法對所述預訓練模型進行反向傳播迭代訓練，得到訓練好的模型；

利用訓練好的模型對大壩裂縫進行檢測；

其中，所述基于改進Faster-RCNN的大壩裂縫檢測模型包括：

特征提取模塊，其被配置為利用卷積神經網絡對輸入圖像的特征進行逐層提取，得到每層的特征圖；

區域生成模塊，其被配置為利用區域生成網絡，基于特征提取網絡最后一層輸出的特征圖進行映射，得到錨框；其中，區域生成模塊，用于利用區域生成網絡RPN，基于特征提取網絡最后一層輸出的特征圖，結合Anchor和Stride進行映射，得到錨框，即Anchor box；根據檢測需求設定Anchor數量以及ANCHOR_RATIOS和ANCHOR_SIZES；對最后一層輸出的特征圖采用滑窗方式遍歷，每個特征像素點對應K個Anchor，利用Anchor Boxes將待檢測物體框選出；

反饋映射模塊，用于Anchor box映射至特征提取模塊提取的后三層特征圖，即conv3_x，conv4_x，conv5_x輸出的特征圖，得到對應的映射特征圖；

多尺度特征融合模塊，用于將映射特征圖的特征進行融合，得到融合特征圖；具體地，多尺度特征融合模塊包括感興趣區域池化單元、拼接單元、歸一化單元和縮放單元；感興趣區域池化單元對每個映射進行感興趣區域池化操作，用于將每個映射特征圖調整至相同分辨率；拼接單元用于將感興趣區域池化后的分辨率相同的三層特征圖進行拼接；歸一化單元用于將拼接后的特征圖在channel軸進行歸一化處理，能夠在一定程度上解決因為不同層輸出的特征數量不同而導致的學習過程不收斂的狀況，歸一化公式為：

其中，I(c|x|y)²是歸一化之前的特征圖，I_n(c|x|y)是歸一化之后的特征圖，c則代表對應特征圖的特征，即歸一化之前和歸一化之后的特征圖分別對應的寬和高；

反饋映射模塊，其被配置為將錨框映射至特征提取模塊提取的后三層特征圖，得到對應的映射特征圖；

多尺度特征融合模塊，其被配置為將所述映射特征圖的特征進行融合，得到融合特征圖；

分類回歸模塊，其被配置為根據所述融合特征圖進行分類和回歸，得到檢測結果。

2.根據權利要求1所述的方法，其特征在于，所述特征提取模塊中的卷積神經網絡采用ResNet101網絡。

3.根據權利要求1所述的方法，其特征在于，所述特征融合模塊包括：

感興趣區域池化單元，其被配置為對每個所述映射特征圖進行感興趣區域池化操作，用于將每個所述映射特征圖調整至相同分辨率；

拼接單元，用于將感興趣區域池化后的特征圖進行拼接。

4.根據權利要求3所述的方法，其特征在于，所述特征融合模塊還包括：

歸一化單元，其被配置為將拼接后的特征圖在channel軸進行歸一化處理；

縮放單元，其被配置為將歸一化的特征圖擴大后經1*1的卷積核處理，得到所述融合特征圖。

5.根據權利要求4所述的方法，其特征在于，所述歸一化處理，具體通過以下公式進行：

其中，I(c|x|y)²是歸一化之前的特征圖，I_n(c|x|y)是歸一化之后的特征圖，c則代表對應特征圖的特征。

6.根據權利要求1所述的方法，其特征在于，所述樣本圖像的類別包括：滲水裂縫、非滲水裂縫、縫隙內含植被的、無裂縫、背景。

7.根據權利要求1所述的方法，其特征在于，所述預處理包括：

通過平移、剪裁、旋轉對樣本圖像進行擴增；

使用目標檢測標注工具對樣本圖像中裂縫所在的位置及對應的分類進行標注，并統一樣本圖像格式。

8.根據權利要求1所述的方法，其特征在于，損失函數包括分類損失函數和回歸損失函數，具體表示為：

其中，為分類損失，i為整數，p_i表示第i個錨框預測為目標的概率；為樣本標簽的概率；是兩個類別的對數損失：

為回歸損失，t_i是一個向量，表示區域生成網絡訓練階段預測的偏移量；是與t_i相同維度的向量，表示區域生成網絡訓練階段預測的錨框相對于目標所在的真實框gt的偏移量：

R表示Smooh L1函數。