[發明專利]一種機載AI智能拍攝技術的輸電線路桿塔沉降的檢測方法

在審

• 申請號: 202211180563.4
• 申請日: 2022-09-27
• 公開（公告）號: CN115775225A
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 趙昌新;解慶東;趙守強;陳想;許吉翔;王文軍
• 申請（專利權）人: 國網江蘇省電力有限公司徐州供電分公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/593;G06T7/73;G06T7/80;G06T5/00;G06V20/17;G06V10/82
• 代理公司: 徐州市三聯專利事務所 32220
• 代理人: 周愛芳

1.一種機載AI智能拍攝技術的輸電線路桿塔沉降的檢測方法，其特征在于，包括以下步驟：

S1：利用無人從塔頂上方垂直拍攝不同光照條件下的輸電桿塔，得到樣本圖片500張；

S2：在RGB模型中，根據重要性及其它指標，將三個分量以不同的權值進行加權平均；轉換算法如式(1)所示：

L＝R×299÷1000+G×587÷1000+B×114÷1000 (1)

S3：通過平移、轉置、鏡像、旋轉、縮放等幾何變換對采集的圖像進行處理，擴大樣本容量，改正圖像采集系統的系統誤差和儀器位置(成像角度、透視關系乃至鏡頭自身原因)的隨機誤差，采用最近鄰插值來優化灰度數值；

S4：采用高通濾波法對圖像進入銳化，增強輸電桿塔塔頂的邊緣輪廓，方便進行圖像標注，算法原理如式(2)所示：

S5：YOLOv5模型訓練前需對數據集進行標注，選用Labelme標注軟件對圖片中的塔頂進行，完整框選出塔頂邊界并標注名稱，矩形框的上下左右分別框住塔基邊緣和橫擔最外側邊緣，不包括橫擔連接的其他任何零部件；

接著標注四個識別關鍵點TL、TR、BL、BR，其中TL為塔頂左上方90度拐角的頂點，TR為右拐角90度頂點，BL、BR為下方對應關鍵點，每一張圖片標注完之后，將會自動生成一個相應的注釋文檔，包含物體名稱編號，邊界框的位置和大小等信息；

S6：在YOLOv5中添加小目標識別層，提高對關鍵點的識別率；

S7：將生成的json文件和原始圖像jpg，放入同一個文件夾中，修改labels.txt文件,保留__ignore__類別(否則會報錯，源代碼中可以修改也可以)；

打開終端并切換路徑，運行后會生成output_dir文件夾，此文件內包含JPEGImages文件夾(包含了原始圖像)、Visulaization文件夾以及annotations.json，運行coco_txt.py將生成對象圖片的txt圖像信息保存至JPEGImages，將訓練好的best.pt文件轉換成onnx格式輸入到無人機上，進行數據集的應用；

S8：ZED雙目相機與標定棋盤的位置，拍攝不同姿態、不同角度左右相機棋盤格圖像并保存各30張，圖像的尺寸為640×480，確定用于標定的每張圖像中的方格都能看得清楚；利用MATLAB相機標定工具箱“Stereo Camera Calibration Toolbox”對ZED雙目相機進行標定，讀入左右相機拍攝的棋盤圖像，點擊標定箱上面的Calibrator按鈕，工具箱會自動尋找圖像中的角點位置，完成雙目相機的標定工作，并保存相關參數；

S9：ZED雙目相機標定之后，可以利用得到的相機內外參數對ZED雙目相機的原始圖像進行校正；利用畸變系數進行畸變校正，得到兩個攝像機之間的Rotation和Translation之后，利用API對兩幅圖像進行立體對極線校正，并將校正結果保存到本地；

S10：立體校正后的左右兩幅圖像得到后，匹配點是在同一行上的，采用SGBM算法獲取視差圖；

S11：得到視差圖后，需要在左、右目圖像中定位被測物體的位置，采用基于圓匹配的方法，首先檢測左、右目圖像中的特征圓，利用式(3)給出的相似度函數對左、右目圖像中的圓進行匹配，將成功匹配的2個圓的圓心作為目標物體在左、右目圖像中的位置：

S_LiRj＝|y_Li-y_Rj|+2×|r_Li-r_Rj| (3)

式中，y_Li、y_Rj分別為左目檢測的第i個圓和右目檢測的第j個圓的圓心縱坐標；r_Li、r_Rj分別為左目檢測的第i個圓和右目檢測的第j個圓的半徑；

在進行圓檢測時，檢測閾值的選取是圓匹配策略的關鍵，如果檢測閾值設定過高，將會無法檢測到圓，而閾值過低會導致誤檢，增大測量誤差；

檢測閾值的大小應為：

ε＝c-Δε (4)

式中，c為目標圓得分；Δε為閾值松弛量；

本文設Δε＝0.06s；閾值確定后，根據圓的相似度對檢測出的圓進行匹配，將匹配得分最高的一對圓的位置作為目標物在左、右目圖像中的位置，得到目標物在圖像中的位置和對應的視差值后，計算目標物與相機的距離d_is：

d_is＝b×f÷d (5)

式中，b為雙目相機2個光心間的距離；f為相機焦距；d為視差值；

S12：將RTK設備進行校準，將標定好的雙目相機，灌注好訓練好的YOLOv5模型和雙目測距算法，將RTK和雙目相機安裝在無人機；

S13：無人機起飛后，通過YOLOv5算法識別出輸電桿塔塔頂，飛到輸電桿塔塔頂正上方，選擇云臺，從上方垂直測量無人機至輸電桿塔塔頂的距離，由于輸電桿塔是立體結構，所以雙目相機要分別測量無人機至TL、TR、BL、BR的距離d₁、d₂、d₃、d₄，再通過機載RTK測量無人機所在海拔高度D；

S14：查詢輸電桿塔臺賬數據庫，得到輸電桿塔所在地海拔高度H，無人機從TL測得輸電桿塔高度Δh：

Δh＝D-H-d₁(6)

分別計算TR、BL、BR處輸電桿塔高度，對比桿塔臺賬桿塔高度h和Δh的大小，當Δh＜＜h時，說明電力桿塔發生了沉降,同時可以具體計算出輸電桿塔沉降的高度ΔH＝h-Δh。