[發(fā)明專利]一種基于FCN的無人機航拍圖像的輸電線定位識別方法

有效

• 申請?zhí)枺?/td>: 201711340856.3
• 申請日: 2017-12-14
• 公開（公告）號: CN108009515B
• 公開（公告）日: 2022-04-22
• 發(fā)明（設(shè)計）人: 齊冬蓮;馬必?zé)?/a>;閆云鳳;顧弘;何海明;季瑞松
• 申請（專利權(quán)）人: 杭州遠(yuǎn)鑒信息科技有限公司
• 主分類號: G06V20/17
• 分類號: G06V20/17;G06V10/774;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京睿智保誠專利代理事務(wù)所(普通合伙) 11732
• 代理人: 周新楣

1.一種基于FCN的無人機航拍圖像的輸電線定位識別方法，包括以下步驟∶

1)采集包含有輸電線目標(biāo)物的輸電線樣本圖像；

2)遍歷所有輸電線樣本圖像，對每張圖像用包圍框針對輸電線目標(biāo)物進行標(biāo)記處理，包圍框包圍完整的輸電線目標(biāo)物，將包圍框內(nèi)的像素點均標(biāo)記為輸電線類別，將包圍框外的像素點標(biāo)記為背景類別，獲得訓(xùn)練集；

3)采用尺寸縮放方法進行縮放處理；針對訓(xùn)練集中具有包圍框的輸電線樣本圖像，進行尺度縮放，分別將每張圖像和包圍框中較長邊變換到預(yù)設(shè)目標(biāo)尺寸，較短邊根據(jù)較長邊變換到預(yù)設(shè)目標(biāo)尺寸的縮放尺度進行相同比例縮放；

4)采用COCO數(shù)據(jù)集輸入預(yù)訓(xùn)練模型進行預(yù)訓(xùn)練，預(yù)訓(xùn)練中調(diào)節(jié)預(yù)訓(xùn)練模型中的網(wǎng)絡(luò)參數(shù)，直至模型訓(xùn)練誤差loss下降到10％以下結(jié)束訓(xùn)練，獲得預(yù)訓(xùn)練后模型；

5)采用步驟3)中縮放處理后的訓(xùn)練集輸入預(yù)訓(xùn)練后模型進行針對訓(xùn)練，不斷迭代訓(xùn)練直至模型訓(xùn)練誤差loss趨于穩(wěn)定，訓(xùn)練結(jié)束獲得的模型作為輸電線檢測模型；

6)實時采集輸電線待測圖像按照與步驟3)中相同的尺寸縮放方法進行縮放后作為步驟5)獲得的輸電線檢測模型的輸入，輸電線檢測模型輸出后，將輸出的分類結(jié)果中置信度大于90％的分類結(jié)果保留，作為輸電線待測圖像的最終識別結(jié)果；

所述步驟4)和步驟5)中的預(yù)訓(xùn)練后模型均采用FCN模型∶FCN模型由特征提取網(wǎng)絡(luò)、區(qū)域檢測網(wǎng)絡(luò)、分類網(wǎng)絡(luò)和Cross-entropy分類器構(gòu)建而成，具體是∶先構(gòu)建從輸電線樣本圖像中提取多維圖像特征的特征提取網(wǎng)絡(luò)，接著將特征提取網(wǎng)絡(luò)的輸出作為輸入構(gòu)建提取圖像中輸電線可能性區(qū)域的區(qū)域檢測網(wǎng)絡(luò)，然后將特征提取網(wǎng)絡(luò)的輸出作為輸入構(gòu)建將多維圖像特征重新映射到與輸電線樣本圖像一致的尺度空間的分類網(wǎng)絡(luò)；最后將分類網(wǎng)絡(luò)和區(qū)域檢測網(wǎng)絡(luò)的輸出共同作為Cross-entropy分類器的輸入，Cross-entropy分類器輸出分類結(jié)果并作為FCN模型的輸出；

所述的FCN模型具體為∶

所述的特征提取網(wǎng)絡(luò)采用一個四層的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)∶

第一層，先使用卷積層，卷積層使用大小為7×7的48個卷積濾波器，卷積步幅為2，輸出48個任意大小的特征圖；獲得卷積層的輸出后，使用BN層進行歸一化處理，然后使用ReLU函數(shù)作為非線性激活函數(shù)進行激活，最后再用一個窗口大小為3×3的最大池化層進行池化，最大池化層的采樣步幅為2；

第二層，先使用卷積層，卷積層使用大小為5×5的96個卷積濾波器，卷積步幅為2，輸出96個任意大小的特征圖；獲得卷積層的輸出后，使用BN層進行歸一化處理，然后使用ReLU函數(shù)作為非線性激活函數(shù)進行激活，最后再用一個窗口大小為3×3的最大池化層進行池化，最大池化層的采樣步幅為2；

第三層，先使用卷積層，卷積層使用大小為3×3的96個卷積濾波器，卷積步幅為1，并設(shè)置卷積偏距pad為1使輸入圖的維度等于輸出圖，輸出96個任意大小的特征圖；

第四層，先使用卷積層，卷積層使用大小為3×3的48個卷積濾波器，卷積步幅為1，并設(shè)置卷積偏距pad為1，卷積后再使用ReLU函數(shù)作為激活函數(shù)進行激活∶

所述的區(qū)域檢測網(wǎng)絡(luò)具體采用如下結(jié)構(gòu)；先使用卷積層，卷積層使用大小為3×3的48個卷積濾波器，卷積步幅為1，輸出48個任意大小的特征圖；獲得卷積層的輸出后，采用可能性區(qū)域檢測層對輸入的特征圖進行處理，以特征圖的每個像素點為可能性區(qū)域的中心生成產(chǎn)生三種面積尺度下兩種長寬比的九個可能性區(qū)域，三種面積尺度分別為4096像素平方面積、16384像素平方面積、65536像素平方面積，兩種長寬比1∶10，10∶1，計算每個可能性區(qū)域與包圍框的重疊率，取重疊率大于0.7的可能性區(qū)域作為正樣本，取重疊率小干0.3的可能性區(qū)域作為負(fù)樣本，從正樣本中選取重疊率最大的前150個可能性區(qū)域，從負(fù)樣本中隨機選取150個可能性區(qū)域，最終獲得300個可能性區(qū)域作為預(yù)測可能性區(qū)域；

獲得預(yù)測可能性區(qū)域后，再采用兩個全連接層處理輸出256維的特征，然后使用邊框回歸層處理，邊框回歸層輸出邊框，獲得邊框的四個元素，四個元素分別是邊框回歸層所輸出邊框的左上角的橫縱坐標(biāo)x、y和邊框回歸層所輸出邊框的寬w、高h(yuǎn)；以邊框作為輸電線可能性區(qū)域；

所述分類網(wǎng)絡(luò)具體采用如下結(jié)構(gòu)；針對輸入的每一個特征圖使用一個池化層處理，輸出的特征圖固定為56×56，然后將輸出的特征圖輸入一個三層的卷積核大小為1×1卷積層，其中第一層卷積層具有1024個維度輸出，第二層具有256個維度輸出，第三層具有4個維度輸出，第三層的卷積層的輸出輸入到Cross-entropy分類器。