[發明專利]基于雙目成像的電力線路無人機巡檢及缺陷智能診斷系統

有效

• 申請號: 201811341240.2
• 申請日: 2018-11-12
• 公開（公告）號: CN109297978B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 陳玉;黃凱;張敏;任凌然;王傳策;李晨曉;吳彤;李松雨
• 申請（專利權）人: 西安交通大學
• 主分類號: G01N21/88
• 分類號: G01N21/88;G05D1/10
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 徐文權

1.基于雙目成像的電力線路無人機巡檢及缺陷智能診斷系統，其特征在于，包括無人機平臺、無人機飛行控制器、地面車載移動工作站和供電局機巡管理中心；其中，

無人機平臺，以正射地面的方式附著于無人機機體上，用于采集電力線路所在區域的圖像，并將圖像通過高清無線圖傳從臺傳入無人機飛行控制器及地面車載移動圖形工作站；

無人機平臺包括：深度成像裝置，用于拍攝雙目圖像，并將圖像通過網口傳入機載數據中心；機載數據中心，用于接收、存儲并發送無人機飛行狀態、接受來自深度成像裝置的圖像數據信息以及無人機飛行控制信息，并將所獲得的圖像數據傳輸至無人機飛行控制器及地面車載移動工作站；飛控平臺，用于接收來自所述無人機飛行控制器的控制指令，收集并傳輸無人機飛行狀態信息到無人機飛行控制器；高清無線圖傳電臺從臺，用于傳輸機載數據中心的數據給高清無線圖傳主臺，并接受高清無線圖傳主臺發來的控制命令給機載數據中心；

無人機飛行控制器，用于實時控制無人機并實時顯示無人機飛行狀態；無人機飛行控制器包括：解碼設備，用于解析接收的來自所述無人機平臺的無人機飛行狀態以及無人機飛行控制數據，用于數據處理；數據處理模塊，用于處理所述解碼設備解析的無人機飛行狀態以及無人機飛行控制數據，用于飛行控制模塊修正飛行指令和監控模塊顯示；監控模塊，用于實時顯示無人機飛行狀態信息，包括飛行高度、飛行速度和剩余電量；飛行控制模塊，用于發出飛行指令，控制無人機飛行狀態；

地面車載移動工作站，用于通過高清無線圖傳電臺主臺接受來自無人機平臺傳輸來的雙目圖像數據，對圖像數據進行處理并將處理結果保存至供電局機巡管理中心；地面車載移動工作站包括：高清無線圖傳電臺主臺，用于接受來自高清無線圖傳電臺從臺的數據和發送命令給高清無線圖傳電臺從臺；圖像數據解碼模塊，用于解析接收的深度成像裝置采集的電力線路所在區域的圖像給典型缺陷圖像智能診斷系統；典型缺陷圖像智能診斷系統，用于接受圖像數據解碼完的數據，根據電力線路的深度圖像剔除復雜自然背景，得到純粹的電力線路圖像，對電力線路所在區域圖像進行角點提取，匹配，得到電力線路的深度圖像；使用高效算法快速診斷電力線路典型缺陷，生成缺陷診斷報告，并將數據傳給供電局機巡管理中心，其中，電力線路典型缺陷包括導線斷股和異物懸掛；根據雙目成像原理獲取左右圖像，并通過高清圖傳將左右圖像實時傳入地面車載移動工作站進行處理，通過ADCensus算法獲取視差圖，再通過閾值分割將電力線路的復雜背景去除，得到純凈的電力線路，再用基于HOG和SVM的缺陷識別算法對純凈的電力線路圖像進行處理，大幅提高了圖像處理效率及缺陷識別準確率；

供電局機巡管理中心，用于對無人機電力巡檢及典型缺陷圖像智能診斷系統的數據存儲及處理；

基于深度成像的無人機巡檢電力線路缺陷診斷系統的工作過程是：

(1)分別對左相機和右相機進行標定，得到左相機和右相機的內、外參數矩陣，然后通過得到的兩個相機的參數進行立體標定，獲得雙目相機的旋轉矩陣和平移向量；

詳細過程如下：

對左右攝像機進行立體標定：首先將一幅黑白棋盤照片分別放置在距離深度成像裝置的不同距離、不同角度，棋盤格轉動的角度要保證在相機能拍攝到棋盤格的每個方格的范圍內，采集20對左右棋盤格圖像對；分別對左、右相機進行單目標定，得到左、右相機的內參數、外參數及畸變參數；用MATLAB的標定工具箱來進行雙目標定，獲取雙目相機的初始參數；獲得左相機和右相機的內參數矩陣M、徑向畸變參數(k₁,k₂,k₃)、切向畸變參數(p₁,p₂)；

其中：f_x，f_y分別稱為x軸和y軸上的歸一化焦距，c_x，c_y為圖像原點相對于光心成像點的橫縱偏移量；

進而完成雙目相機標定，得到雙目相機標定后的內參數以及右相機相對于左相機的旋轉矩陣、平移向量；

(2)將雙目相機和微型計算機搭載在無人機上，通過對相機提供的SDK進行二次開發，實現雙目相機自動采集左右輸電線圖像對，其中，SDK是指軟件開發工具包；

(3)無人機起飛前開啟微型計算機，同時控制雙目相機的程序也自動開啟，使用無人機操作手柄控制無人機沿著輸電線飛行，并自動采集到輸電線左右圖像對；

(4)將立體標定后得到的旋轉矩陣和平移向量的數據寫入極線校正的程序中，使用極線校正程序處理無人機巡檢采集到的輸電線左右圖像對，通過極線校正左右圖像對應的物體將處于同一極線上，獲得極線校正后的圖片，提高了立體匹配的正確率；詳細過程如下：

中極線校正分為兩部分，分別為徑向畸變校正與切向畸變校正，校正公式如下：

徑向畸變的校正：

x'＝x(1+k₁r²+k₂r⁴+k₃r⁶)

y'＝y(1+k₁r²+k₂r⁴+k₃r⁶)

切向畸變的校正：

x'＝x+[2p₁y+p₂(r²+2x²)]

y'＝y+[p₁(r²+2y²)+2p₂x]

其中，k₁、k₂、k₃為相機的徑向畸變系數，p₁、p₂為相機的切向畸變系數，(x,y)為畸變點的原始位置，(x’,y’)為校正后的新位置；

(5)使用ADCensus立體匹配算法處理極線校正后的圖片，通過立體匹配后將獲得視差圖；

(6)分析視差圖的灰度直方圖，選取合適的閾值對視差圖進行閾值分割，閾值分割后將會剔除圖像中的復雜背景獲得純凈的電力線路圖像；

(7)根據步驟(6)中的純凈的電力線路目標圖像，與缺陷樣本庫進行比對，進行缺陷診斷，生成缺陷診斷報告；

基于HOG/PCA和SVM的電力線路典型缺陷識別方法的工作過程是：

(1)利用ADCensus算法獲得純凈的電力線路；

(2)對步驟(1)中獲取的電力線路圖像采用方向梯度直方圖的方法提取電力線路圖像特征；

(3)采取主成分分析法解決步驟(2)中提取的電力線路圖像特征維數爆炸的問題；

(4)通過實驗確定SVM中核函數的使用及最優參數組合，設計了適用于電力線路缺陷識別的有向無環圖多分類器；

(5)根據步驟(4)中所設計的有向無環圖多分類器進行實驗，確定達到最佳缺陷識別效果的像素細胞大小和主成分貢獻率，根據確定的最優參數組合，對電力線路圖像進行缺陷識別處理，判斷電力線路圖像的缺陷類型。

2.根據權利要求1所述的基于雙目成像的電力線路無人機巡檢及缺陷智能診斷系統，其特征在于，供電局機巡管理中心包括：班組監控子系統，用于對巡檢人員任務進行下達、監控，并對巡檢數據上傳至綜合管理子系統；

綜合管理子系統，用于對系統的管理，包括圖像數據管理，巡檢任務管理，巡檢人員及巡檢班組的管理。