[發明專利]一種基于神經網絡的油氣管道標志物識別方法

有效

• 申請號: 202010096021.3
• 申請日: 2020-02-17
• 公開（公告）號: CN111339858B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 于永斌;唐倩;彭辰輝;陸瑞軍;買峰;湯亦凡;戚敏惠;鄧權芯;毛宇涵
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V20/17;G06K9/62;G06N3/04
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 周劉英

1.一種基于神經網絡的油氣管道標志物識別方法，其特征在于，該方法包括以下步驟：

1)基于神經網絡構建目標檢測網絡結構模型；

2)獲取油氣管道周圍環境的航拍圖片，從中選取正樣本與易干擾的負樣本，對正樣本與負樣本進行數據增廣，得到進行數據增廣后的航拍圖片，將進行數據增廣后的航拍圖片與原航拍圖片混合作為數據集；

3)將上述數據集按照預設比例分為訓練集、驗證集和測試集，并建立數據集中的數據與對應標簽之間的一一映射；

4)將步驟3)中的訓練集輸入到目標檢測網絡結構模型中進行訓練，訓練的同時對驗證集進行評估，得到訓練集與驗證集表現俱優的目標檢測網絡結構模型；

5)保存該訓練集與驗證集表現俱優的目標檢測網絡結構模型及相關參數；

6)將測試集中的數據輸入到步驟4)保存的訓練集與驗證集表現俱優的目標檢測網絡結構模型中進行檢測，得到檢測結果并計算檢測精度；

其中，所述步驟1)中基于神經網絡構建的目標檢測網絡結構模型是在基于Python下的Tensorllow框架下構建的嵌入CBAM的Mobilenet-SSD網絡結構模型，其輸入為大小為300×300×3的圖片，第1層為標準卷積層，由Conv表示，由32個3×3×3卷積核進行步長為2的卷積，輸出為150×150×32的特征圖；之后13層代表13個深度可分離卷積模塊，由Dept hwise表示；第2層的深度可分離卷積模塊先由1個3×3×32卷積核進行步長為1的Depthwise卷積輸出150×150×32的特征圖，然后再由64個1×1×32的卷積核進行步長為1的Point wise卷積得到150×150×64的特征圖；第3層的深度可分離卷積模塊先由1個3×3×64卷積核進行步長為2的Depthwise卷積輸出75×75×64的特征圖，然后再由128個1×1×64的卷積核進行步長為1的Pointwise卷積得到75×75×128的特征圖；第4層的深度可分離卷積模塊先由1個3×3×128卷積核進行步長為1的Depthwise卷積輸出75×75×128的特征圖，然后再由128個1×1×128的卷積核進行步長為1的Pointwise卷積得到75×75×128的特征圖；第5層的深度可分離卷積模塊先由一個3×3×128卷積核進行步長為2的Depthwise卷積輸出38×38×128的特征圖，然后再由256個1×1×128的卷積核進行步長為1的Pointwise卷積得到38×38×256的特征圖；第6層的深度可分離卷積模塊先由一個3×3×256卷積核進行步長為1的Depthwise卷積輸出38×38×256的特征圖，然后再由256個1×1×256的卷積核進行步長為1的Pointwise卷積得到38×38×256的特征圖；第7層的深度可分離卷積模塊先由一個3×3×256卷積核進行步長為2的Depthwise卷積輸出19×19×256的特征圖，然后再由512個1×1×256的卷積核進行步長為1的Pointwise卷積得到19×19×512的特征圖；第8～12層深度可分離卷積模塊的結構相同，先由一個3×3×512卷積核進行步長為1的Depthwise卷積輸出19×19×256的特征圖，然后再由512個1×1×256的卷積核進行步長為1的Pointwise卷積得到19×19×512的特征圖；第13層的深度可分離卷積模塊先由一個3×3×512卷積核進行步長為2的Depthwise卷積輸出10×10×256的特征圖，然后再由1024個1×1×256的卷積核進行步長為1的Pointwise卷積得到10×10×1024的特征圖；第14層的深度可分離卷積模塊先由一個3×3×1024卷積核進行步長為1的Depthwise卷積輸出10×10×1024的特征圖，然后再由1024個1×1×1024的卷積核進行步長為1的Pointwise卷積得到10×10×1024的特征圖；在上述的每層后都嵌入了CBAM模塊，每層輸出的特征圖都將被CBAM模塊處理，得到與輸入CBAM的特征圖同樣尺寸的特征圖；第15層是標準卷積層，由512個3×3×1024卷積核進行步長為2的卷積，得到5×5×512的特征圖；第16層是標準卷積層，由256個3×3×512卷積核進行步長為2的卷積，得到3×3×256的特征圖；第17層是標準卷積層，由256個3×3×256卷積核進行步長為2的卷積，得到2×2×256的特征圖；第18層是標準卷積層，由128個3×3×256卷積核進行步長為2的卷積，得到1×1×128的特征圖；然后SSD算法提取第12層和14層的特征圖，以及后面4層標準卷積層的特征圖，在這6個尺度不同的特征圖上提取特征回歸出目標的位置與分類的置信度，通過非極大抑制保留最好的檢測結果；

具體地，在嵌入CBAM注意力機制前，第1層標準卷積層后接有1層批量歸一化層和Relu函數，深度可分離卷積模塊的Depthwise卷積和Pointwise卷積后分別接有1層批量歸一化層和Relu函數；在所述深度可分離卷積模塊的結構中，深度可分離卷積將一個標準的卷積核分成Depthwise卷積核和1×1的Pointwise卷積核分別進行Depthwise卷積和Pointwise卷積，假設輸入是D_F×D_F×M的特征圖，D_F是特征圖的寬高，M是特征圖的通道數，卷積核大小為D_K×D_K，輸出通道為N，那么在標準卷積中需要N個D_K×D_K×M的卷積核，這N個標準卷積核分解為M個D_K×D_K×1的Depthwise卷積核和N個1×1×M的Pointwise卷積核，首先進行Depthwise卷積，相當于在輸入的特征圖的M個通道上，分別用一個D_K×D_K×1的卷積核進行標準卷積，輸出的特征圖通道數為M，然后進行Pointwise卷積，相當于將Depthwise卷積輸出的特征圖用N個D_K×D_K×1卷積核進行標準卷積，這兩步卷積構成了深度可分離卷積模塊，其作用等同于標準卷積，但標準卷積的計算量為D_F×D_F×D_K×D_K×M×N，深度可分離卷積模塊的計算量為D_F×D_F×D_K×D_K×M+D_F×D_F×M×N，深度可分離卷積模塊的計算量比標準卷積計算量少了倍；

具體地，CBAM注意力模塊由通道注意力模塊和空間注意力模塊串聯組成，給定一個特征圖F∈R^C×H×W作為輸入，其中R為實數域，C為特征圖的通道數，H為特征圖高度，W為特征圖的寬度，CBAM通過通道注意力模塊產生一維通道注意力映射Mc∈R^C×1×1，與原特征圖F作點乘得到F₁∈R^C×H×W，然后F₁通過空間注意力模塊產生二維通道注意力映射Ms∈R^1×H×W，與F₁點乘得到顯著特征圖F₂∈R^C×H×W；注意力模塊的整個過程描述為：

其中，代表點乘，即特征圖對應像素相乘；在通道注意力機制和空間注意力機制后得到的映射都與最初的輸入進行點乘進行了尺度變化，得到

F₁∈R^C×H×W，F₂∈R^C×H×W；

具體地，通道注意力機制先對輸入的特征圖F同時進行全局最大池化和全局平均池化壓縮圖像信息，然后通過共享的多層感知機MLP減少參數，再使用點和操作合并兩個輸出的特征圖，過程描述為：

Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))

＝σ(W1(W0(AvgPool(F))))+W1(W0(MaxPool(F))))

其中σ代表激活函數，W0∈R^C/r×C，W1∈R^C×C/r，全局最大池化和全局平均池化輸出的結果輸入MLP，共享MLP的權重參數W0和W1，r是減少參數的減速比，C是特征圖的通道數；

空間注意力機制先對輸入的特征圖F₁在通道的方向進行全局最大池化和全局平均池化，并將輸出的特征圖拼接，然后對拼接的特征圖進行卷積，卷積核大小為7×7，個數為1，得到Ms(F₁)，過程描述為：

Ms(F₁)＝σ(f^7×7([AvgPool(F)；MaxPool(F)]))，

其中f^7×7代表作卷積核大小為7×7的卷積。