[發(fā)明專利]一種巡檢機器人可見光與紅外傳感器數(shù)據(jù)融合方法

在審

• 申請?zhí)枺?/td>: 201710599273.6
• 申請日: 2017-07-21
• 公開（公告）號: CN107491781A
• 公開（公告）日: 2017-12-19
• 發(fā)明（設計）人: 羅旺;張佩;崔漾;夏源;樊強;彭啟偉;趙高峰;郭艷雪;毛光輝;郝小龍;馮敏;余磊
• 申請（專利權）人: 國家電網(wǎng)公司;國網(wǎng)福建省電力有限公司電力科學研究院;南京南瑞集團公司;國網(wǎng)甘肅省電力公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/33
• 代理公司: 南京縱橫知識產(chǎn)權代理有限公司32224
• 代理人: 董建林

技術領域

本發(fā)明設計信號處理技術領域，具體涉及一種基于圖像處理的巡檢機器人可見光和紅外傳感器數(shù)據(jù)融合方法。

背景技術

巡檢機器人在電網(wǎng)生產(chǎn)中發(fā)揮著重要作用，廣泛應用于變電站、輸電線路，巡檢機器人可用于對變電站、輸電線路設備進行自主巡檢與數(shù)據(jù)采集，巡檢機器人具備自主導航和巡檢功能，具有紅外熱成像和高清視頻雙視技術，依靠雙視技術，可初步展示電力設備的電流、電壓致熱現(xiàn)象，初步發(fā)現(xiàn)設備缺陷。

由于紅外熱成像和高清光學攝像機焦距、視角均不相同，因此，紅外和可見光圖像中設備并未配準，單獨查看紅外熱成像圖像，難以辨識關注的設備及其關鍵部位，人工比對紅外和可見光圖像，一方面時間消耗大，另外一方面，難以獲取設備關鍵部位的溫度。為了提高巡檢機器人設備及其關鍵部位的溫度檢測效率和準確率，國內外很多研究人員開始研究紅外和可見光圖像數(shù)據(jù)融合技術。

紅外和可見光圖像數(shù)據(jù)融合技術中的關鍵技術是圖像數(shù)據(jù)配準技術，國外科研人員從自20世紀60年代就開始了單模態(tài)圖像配準技術研究工作，國內科研人員則從20世紀80年代開始相關的研究工作。到目前為止，單模態(tài)圖像的配準問題已經(jīng)基本得到了解決，但是對于多模態(tài)(包含可見光、紅外等模態(tài)) 圖像匹配問題，至今仍未得到很好解決。現(xiàn)有巡檢機器人多模態(tài)數(shù)據(jù)應用中也存在上述多模態(tài)圖像匹配問題，特別是對于巡檢圖像中特定對象設備和部位，還沒有很好的解決方法。

發(fā)明內容

本發(fā)明的目的在于克服現(xiàn)有技術中的不足，提供了一種巡檢機器人可見光和紅外傳感器數(shù)據(jù)融合方法，將紅外圖像和可見光圖像配準融合方法和基于深度學習的設備及其部件檢測方法相結合，實現(xiàn)了電力設備及其部件溫度的快速檢測，有利于輔助發(fā)現(xiàn)設備故障。

為解決上述技術問題，本發(fā)明提供了一種巡檢機器人可見光與紅外傳感器數(shù)據(jù)融合方法，其特征是，包括以下步驟：

步驟S1，獲取多組同一場景下設備及其部件的紅外圖像和可見光圖像；

步驟S2，采用仿射變換對紅外圖像和可見光圖像進行圖像配準；

步驟S3，利用深度卷積神經(jīng)網(wǎng)絡對可見光圖像進行訓練，識別出可見光圖像中的設備及其部件，以及其對應的類別和位置信息；

步驟S4，將紅外圖像與可見光圖像進行融合生成融合圖像，在融合圖像中標注設備及其部件各對應的溫度值形成溫度圖譜。

進一步的，在步驟S3中，采用24個卷積層和2個全連接層的深度卷積神經(jīng)網(wǎng)絡結構。

進一步的，深度卷積神經(jīng)網(wǎng)絡結構中，采用以下稀疏校正線性激活函數(shù)作為最后一層網(wǎng)絡和其他所有層網(wǎng)絡的激活函數(shù)。

進一步的，步驟S4中，采用輪廓小波變換方法進行圖像融合。

進一步的，在可見光圖像與紅外圖像進行圖像融合時，對于變換后得到的低頻子帶，采用基于均值的融合規(guī)則得到融合圖像的低頻子帶；對于變換后得到的高頻子帶，采用基于最大值的融合規(guī)則得到融合圖像的高頻子帶，再將融合圖像的低頻子帶和高頻子帶通過反變換獲得融合圖像。

進一步的，溫度圖譜的獲取過程為：在獲得融合圖像后，將紅外圖像中標注的對應像素點的溫度值標注在融合圖像相對應的位置，同時將可見光圖像中獲得的設備及其部件位置信息用代表對應部件的顏色標注在融合圖像中，生成設備及其部件各對應的溫度圖譜。

與現(xiàn)有技術相比，本發(fā)明所達到的有益效果是：本發(fā)明可實現(xiàn)巡檢機器人可見光和紅外圖像中設備及其部件的自動配準，實現(xiàn)電力設備及其部件溫度數(shù)據(jù)的自動獲取，同時準確度更高。

附圖說明

圖1是本發(fā)明方法的流程示意圖。

具體實施方式

下面結合附圖對本發(fā)明作進一步描述。以下實施例僅用于更加清楚地說明本發(fā)明的技術方案，而不能以此來限制本發(fā)明的保護范圍。

圖像配準，是將不同時間段、不同傳感器(成像設備)、不同條件下(天候、照度、攝像位置和角度等)獲取的兩幅或多幅圖像進行匹配、疊加的過程，被廣泛地應用于計算機視覺、圖像處理、遙感數(shù)據(jù)分析等領域。

如圖1所示，本發(fā)明的一種巡檢機器人可見光與紅外傳感器數(shù)據(jù)融合方法，包括以下步驟：

步驟S1，獲取多組同一場景下設備及其部件的紅外圖像和可見光圖像。

巡檢機器人利用紅外傳感器基于紅外熱成像原理拍攝出紅外圖像，利用高清視頻傳感器拍攝出可見光圖像。在紅外和可見光圖像中，圖像內容目前主要包括變電站內典型電力設備及其部件，如閘刀、互感器、避雷器、電容器和儀表等，也是下文中所要檢測識別的目標。