[發明專利]一種基于可見光和紅外圖像融合的煤巖識別裝置及方法

有效

• 申請號: 201810354520.0
• 申請日: 2018-04-19
• 公開（公告）號: CN108711146B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 程誠;劉送永;吳洪狀;江紅祥;李偉;沈剛;唐瑋;李洪盛;謝奇志;周方躍
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/80;G06T3/40;G06N3/04;G05B19/05
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 樓高潮

1.一種基于可見光和紅外圖像融合的煤巖識別方法，采用一種煤巖識別裝置，該裝置包括防爆外殼(1)、可見光相機(6)和煤巖識別模塊(8)，可見光相機(6)和煤巖識別模塊(8)均設置在防爆外殼(1)內，所述可見光相機(6)通過可見光傳感器將采集的圖像信息輸送至煤巖識別模塊(8)，煤巖識別模塊(8)輸出信號至采煤機的PLC調高控制模塊，PLC調高控制模塊與采煤機截割滾筒的液壓執行單元信號相連；該裝置還包括紅外相機(3)和環形光源(4)，紅外相機(3)通過紅外傳感器將采集的圖像信息輸送至煤巖識別模塊(8)，防爆外殼(1)面對煤巖壁的一面為高透光板一(2)，防爆外殼(1)內部豎直設置一塊高透光板二(5)，高透光板二(5)與防爆外殼(1)背板之間連接一塊支撐板(7)，紅外相機(3)和可見光相機(6)并排設置在支撐板(7)上端，煤巖識別模塊(8)設置在支撐板(7)下側的防爆外殼(1)背板處，環形光源(4)均勻布置在高透光板二(5)上；

其特征在于，所述方法包括以下步驟：

第一步、對紅外相機(3)和可見光相機(6)進行標定，獲取相應的內參矩陣和畸變矩陣；

第二步、根據相機標定參數，實現圖像像素坐標系到采煤機機體坐標系的映射，得到同一場景下的紅外和可見光煤巖圖像；

第三步、采煤機自動截割之前，采用人工示教方式進行采煤機第一刀的截割；

第四步、紅外相機(3)和可見光相機(6)等時間間隔同時拍攝工作面紅外煤巖圖像和可見光煤巖圖像；

第五步、使用紅外煤巖圖像和可見光煤巖圖像進行煤巖圖像界面識別，提取融合圖像上煤巖界面坐標點信息；該步驟具體過程如下：

a、基于小波變換和數學形態學，結合煤巖圖像形態、煤巖顏色、紋理、斷口形狀的特點，對可見光和紅外煤巖圖像分別進行預處理和圖像像素級融合，最大限度保留兩類圖像的完整信息；

b、基于尺度不變特征變換特征點圖像無縫拼接原理，提取煤巖融合圖像特征點，通過透視變換，將拍攝的最新圖像實時拼接到已獲取的工作面煤巖圖像上，最終得到下一刀截割的完整工作面煤巖融合圖像；

c、根據融合圖像中煤巖的顏色、紋理、斷口形狀的特征差異，選取合適網絡參數，利用細胞神經網絡識別煤巖界面，提取煤巖界面曲線信息；

d、等間隔選取煤巖界面曲線上的坐標點，通過坐標變換，獲取機體坐標系下煤巖界面點列坐標；

第六步、將上一刀截割時嵌入式煤巖界面識別模塊的識別結果作為指令傳輸到PLC調高控制模塊，生成控制電壓信號，控制液壓執行單元動作，采煤機完成一刀截割；

第七步、重復第四步～第六步，完成礦采工作面中采煤機的自動截割。

2.根據權利要求1所述的基于可見光和紅外圖像融合的煤巖識別方法，其特征在于，紅外相機(3)內的紅外傳感器采用UFPA探測器，可見光相機(6)內的可見光傳感器采用CCD傳感器，紅外相機(3)和可見光相機(6)的鏡頭平行并穿過高透光板二(5)，紅外相機(3)和可見光相機(6)存在重疊的視角區域。

3.根據權利要求1或2所述的基于可見光和紅外圖像融合的煤巖識別方法，其特征在于，防爆外殼(1)底部四角具有隔振器(9)，整個裝置通過隔振器(9)固定在采煤機機體(10)。