[發明專利]一種巡檢機器人可見光與紅外傳感器數據融合方法

在審

• 申請號: 201710599273.6
• 申請日: 2017-07-21
• 公開（公告）號: CN107491781A
• 公開（公告）日: 2017-12-19
• 發明（設計）人: 羅旺;張佩;崔漾;夏源;樊強;彭啟偉;趙高峰;郭艷雪;毛光輝;郝小龍;馮敏;余磊
• 申請（專利權）人: 國家電網公司;國網福建省電力有限公司電力科學研究院;南京南瑞集團公司;國網甘肅省電力公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/33
• 代理公司: 南京縱橫知識產權代理有限公司32224
• 代理人: 董建林

1.一種巡檢機器人可見光與紅外傳感器數據融合方法，其特征是，包括以下步驟：

步驟S1，獲取多組同一場景下設備及其部件的紅外圖像和可見光圖像；

步驟S2，采用仿射變換對紅外圖像和可見光圖像進行圖像配準；

步驟S3，利用深度卷積神經網絡對可見光圖像進行訓練，識別出可見光圖像中的設備及其部件，以及其對應的類別和位置信息；

步驟S4，將紅外圖像與可見光圖像進行融合生成融合圖像，在融合圖像中標注設備及其部件各對應的溫度值形成溫度圖譜。

2.根據權利要求1所述的一種巡檢機器人可見光與紅外傳感器數據融合方法，其特征是，在步驟S3中，采用24個卷積層和2個全連接層的深度卷積神經網絡結構。

3.根據權利要求1所述的一種巡檢機器人可見光與紅外傳感器數據融合方法，其特征是，深度卷積神經網絡結構中，采用以下稀疏校正線性激活函數作為最后一層網絡和其他所有層網絡的激活函數。

4.根據權利要求1所述的一種巡檢機器人可見光與紅外傳感器數據融合方法，其特征是，步驟S4中，采用輪廓小波變換方法進行圖像融合。

5.根據權利要求1所述的一種巡檢機器人可見光與紅外傳感器數據融合方法，其特征是，在可見光圖像與紅外圖像進行圖像融合時，對于變換后得到的低頻子帶，采用基于均值的融合規則得到融合圖像的低頻子帶；對于變換后得到的高頻子帶，采用基于最大值的融合規則得到融合圖像的高頻子帶，再將融合圖像的低頻子帶和高頻子帶通過反變換獲得融合圖像。

6.根據權利要求1所述的一種巡檢機器人可見光與紅外傳感器數據融合方法，其特征是，溫度圖譜的獲取過程為：在獲得融合圖像后，將紅外圖像中標注的對應像素點的溫度值標注在融合圖像相對應的位置，同時將可見光圖像中獲得的設備及其部件位置信息用代表對應部件的顏色標注在融合圖像中，生成設備及其部件各對應的溫度圖譜。