[發明專利]一種基于反饋機制的電力設備紅外與可見光圖像配準方法

有效

• 申請號: 201811180767.1
• 申請日: 2018-10-09
• 公開（公告）號: CN109523583B
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 馬嘯川;李慶武;許金鑫
• 申請（專利權）人: 河海大學常州校區
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/13
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林;許婉靜

1.一種基于反饋機制的電力設備紅外與可見光圖像配準方法，其特征在于，包括以下步驟：

1)分別對紅外圖像與可見光圖像進行各向異性濾波；

2)利用Canny算法分別提取紅外圖像與可見光圖像的邊緣，并分別在紅外邊緣圖像與可見光邊緣圖像上提取SURF特征點；

3)通過對SURF特征點進行粗匹配與排序得到匹配點集，然后根據匹配點集計算出仿射矩陣集，并采用預設的先驗約束對仿射矩陣集進行篩選，得到候選仿射矩陣集；

4)根據候選仿射矩陣集依次對紅外濾波圖像進行仿射變換，然后采用歸一化互信息快速計算方法計算出可見光圖像與仿射變換后的紅外圖像間的互信息，并將互信息最大值對應的候選仿射矩陣作為反饋矩陣；

5)基于反饋矩陣對匹配點集進行篩選，得到最優匹配點集；

6)根據最優匹配點集解出最優仿射矩陣，并將最優仿射矩陣作用到紅外圖像，完成紅外與可見光圖像配準；

在所述步驟4)中，具體步驟如下：

41)根據候選仿射矩陣依次對紅外圖像進行仿射變換；

42)成紅外圖像與可見光圖像興趣區域；

43)采用歸一化互信息快速計算方法計算可見光與仿射變換后的紅外圖像間的互信息，步驟如下：

431)分別得到可見光興趣區域圖像visRoi和紅外興趣區域圖像infRoi_k中的最大灰度值vis_max和inf_max，將位于可見光興趣區域圖像visRoi中所有像素的像素值都乘以255/vis_max，將位于紅外興趣區域圖像infRoi_k中所有像素的像素值都乘以255/inf_max；

432)分別生成可見光興趣區域圖像visRoi和紅外興趣區域圖像infRoi_k的灰度直方圖，分別用{visBin₀,visBin₁,...,visBin₂₅₅}、{infBin₀,infBin₁,...,infBin₂₅₅}來表示，再將可見光興趣區域圖像visRoi和紅外興趣區域圖像infRoi_k的灰度直方圖進行線性疊加，得到一個新的灰度直方圖，記為灰度直方圖Bin，公式如下：

Bin＝{visBin₀+infBin₀,visBin₁+infBin₁,...,visBin₂₅₅+infBin₂₅₅}

＝{bin₀,bin₁,...,bin₂₅₅}

式中，bin_m是灰度直方圖中的一個圖柱，表示第m個灰度級范圍的像素數量，m取值范圍都是0～255；

433)對灰度直方圖Bin進行修正；按照下列步驟對灰度直方圖Bin進行修正：

a.按照從左到右的順序，依次判斷灰度直方圖Bin中每個圖柱擁有的像素數量是否小于常量閾值T_bin,若像素數量小于常量閾值T_bin，則將該圖柱與其右相鄰的圖柱進行疊加合并；若該圖柱擁有的像素數量小于常量閾值T_bin，并且位于灰度直方圖的最右端，則將該圖柱與其左相鄰的圖柱進行疊加合并；其中，疊加合并后的圖柱擁有的像素數量是疊加合并前的兩個圖柱的像素數量之和，并且，疊加合并后的圖柱所表示的灰度級范圍是疊加合并前的兩個圖柱所表示的灰度級范圍的并集；

b.若灰度直方圖Bin中每個圖柱擁有的像素數量都不小于T_bin，轉步驟c，否則轉步驟a；

c.若灰度直方圖Bin中的圖柱數量不大于36個，則終止，得到修正后的灰度直方圖Bin'，此時修正后的灰度直方圖Bin'具有36個圖柱，Bin'＝{bin₀,bin₁,...,bin_p,...,bin_l,...,bin₃₅}，bin_p表示修正后的灰度直方圖Bin'中第p個灰度級范圍的圖柱，bin_l表示修正后的灰度直方圖Bin'中第l個灰度級范圍的圖柱；

d.找到灰度直方圖Bin中擁有像素數量最少的圖柱bin_min，若圖柱bin_min位于灰度直方圖的最左端或者最右端，則將圖柱bin_min與其相鄰圖柱進行疊加合并；若圖柱bin_min不位于最左端或者最右端，則轉步驟e；

e.令bin_left和bin_right分別表示圖柱bin_min的左相鄰圖柱和右相鄰圖柱，令N₁、N₂和N₃分別表示圖柱bin_left、圖柱bin_right和圖柱bin_min所擁有的像素數量，令range₁、range₂和range₃分別為圖柱bin_left、圖柱bin_right和圖柱bin_min所表示的灰度級范圍，對圖柱bin_left、圖柱bin_right和圖柱bin_min進行比例合并：首先，將圖柱bin_min所擁有的像素數量按比例分配給圖柱bin_left和圖柱bin_right，公式如下：

式中，[]表示對數值進行四舍五入；然后，按比例和將range₃分為左右兩個范圍，分別記為range_left和range_right；然后，令range₁＝range₁∪range_left，range₂＝range₂∪range_right；轉步驟c；∪表示求并集，取左右兩個集合中的所有元素，如果有重復元素則只保留一個；

434)根據可見光興趣區域圖像visRoi和紅外興趣區域圖像infRoi_k，同時以修正后的灰度直方圖Bin'為參照，分別生成可見光興趣區域圖像visRoi和紅外興趣區域圖像infRoi_k的新灰度直方圖：

435)計算H(A)和H(B)，計算公式如下：

式中，H(A)表示可見光興趣區域圖像visRoi的信息熵，H(B)表示紅外興趣區域圖像infRoi_k的信息熵，p_A(a)表示灰度直方圖一visRoiBin中第a個灰度級范圍的圖柱擁有的像素數量與灰度直方圖一visRoiBin所有圖柱擁有的像素數量的比例，p_B(b)表示灰度直方圖二infRoi_kBin中第b個灰度級范圍的圖柱擁有的像素數量與灰度直方圖二infRoi_kBin所有圖柱擁有的像素數量的比例；

436)計算H(A,B)，計算公式如下：

式中，H(A,B)表示可見光興趣區域圖像visRoi與紅外興趣區域圖像infRoi_k的聯合信息熵，p_AB(a,b)表示在可見光興趣區域圖像visRoi中屬于灰度直方圖一visRoiBin中第a個灰度級范圍，并且相同坐標下，在紅外興趣區域圖像infRoi_k中屬于灰度直方圖二infRoi_kBin中第b個灰度級范圍的像素數量，與灰度直方圖一visRoiBin、灰度直方圖二infRoi_kBin所有圖柱擁有的像素數量之和的比例；

437)計算互信息，計算公式如下：

式中，NMI_k表示根據仿射矩陣h_k計算得到的互信息；

44)若互信息NMI_k是所有根據候選仿射矩陣計算出的互信息中的最大值，則仿射矩陣h_k是反饋矩陣，并將h_k重新記為反饋矩陣h_max。