[發(fā)明專(zhuān)利]基于光學(xué)和紅外圖像融合的低發(fā)射率涂層智能探損方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011187315.3
• 申請(qǐng)日: 2020-10-30
• 公開(kāi)（公告）號(hào): CN112258490A
• 公開(kāi)（公告）日: 2021-01-22
• 發(fā)明（設(shè)計(jì)）人: 魏小龍;徐浩軍;武欣;李益文;李玉琴;何衛(wèi)鋒;裴彬彬;聶祥樊;華為卓;陳戈
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)人民解放軍空軍工程大學(xué)
• 主分類(lèi)號(hào): G06T7/00
• 分類(lèi)號(hào): G06T7/00
• 代理公司: 西安知誠(chéng)思邁知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61237
• 代理人: 麥春明

1.基于光學(xué)和紅外圖像融合的低發(fā)射率涂層智能探損方法，其特征在于，按照以下步驟進(jìn)行：

步驟S1、建立或選擇卷積神經(jīng)網(wǎng)絡(luò)，并對(duì)其進(jìn)行訓(xùn)練和優(yōu)化，得到用于檢測(cè)低發(fā)射率涂層損傷的卷積神經(jīng)網(wǎng)絡(luò)模型；

步驟S2、獲取待檢測(cè)的低發(fā)射率涂層的光學(xué)圖像以及與其同位置、同視角、同尺寸的紅外圖像，并對(duì)獲取的光學(xué)圖像及與其同位置、同視角、同尺寸的紅外圖像進(jìn)行圖像融合，得到待檢測(cè)的低發(fā)射率涂層的融合圖像；

步驟S3、對(duì)待檢測(cè)的低發(fā)射率涂層的融合圖像進(jìn)行歸一化處理，得到待檢測(cè)的數(shù)據(jù)樣本；

步驟S4、將待檢測(cè)的數(shù)據(jù)樣本輸入用于檢測(cè)低發(fā)射率涂層損傷的卷積神經(jīng)網(wǎng)絡(luò)模型，對(duì)待檢測(cè)的低發(fā)射率涂層進(jìn)行損傷自動(dòng)檢測(cè)。

2.根據(jù)權(quán)利要求1所述的基于光學(xué)和紅外圖像融合的低發(fā)射率涂層智能探損方法，其特征在于，所述步驟S1的具體實(shí)現(xiàn)過(guò)程如下：

步驟S11、獲取用于訓(xùn)練模型的有損傷和無(wú)損傷的低發(fā)射率涂層圖像，包括有損傷和無(wú)損傷的低發(fā)射率涂層光學(xué)圖像以及與該光學(xué)圖像同位置、同視角、同尺寸的紅外圖像，其中有損傷的低發(fā)射率涂層圖像的損傷類(lèi)別已知；

步驟S12、對(duì)獲取的有損傷和無(wú)損傷的低發(fā)射率涂層光學(xué)圖像以及與該光學(xué)圖像同位置、同視角、同尺寸的紅外圖像一一對(duì)應(yīng)進(jìn)行圖像融合，得到用于訓(xùn)練模型的有損傷和無(wú)損傷的低發(fā)射率涂層的融合圖像；

步驟S13、對(duì)所得用于訓(xùn)練模型的有損傷和無(wú)損傷的低發(fā)射率涂層的融合圖像中的損傷位置進(jìn)行標(biāo)記，然后對(duì)標(biāo)記后的用于訓(xùn)練模型的有損傷和無(wú)損傷的低發(fā)射率涂層的融合圖像進(jìn)行歸一化處理，獲得訓(xùn)練數(shù)據(jù)樣本，并將訓(xùn)練數(shù)據(jù)樣本隨機(jī)劃分為訓(xùn)練集和測(cè)試集；

步驟S14、對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)，擴(kuò)充訓(xùn)練集的數(shù)據(jù)樣本；

步驟S15、建立或選擇卷積神經(jīng)網(wǎng)絡(luò)，然后利用數(shù)據(jù)增強(qiáng)后的訓(xùn)練集對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在每隔一定訓(xùn)練輪次后將測(cè)試集輸入訓(xùn)練所得卷積神經(jīng)網(wǎng)絡(luò)中，實(shí)時(shí)監(jiān)控測(cè)試集在卷積神經(jīng)網(wǎng)絡(luò)上的檢測(cè)精度，并不斷調(diào)節(jié)超參數(shù)控制訓(xùn)練過(guò)程，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，得到用于檢測(cè)低發(fā)射率涂層損傷的卷積神經(jīng)網(wǎng)絡(luò)模型。

3.根據(jù)權(quán)利要求2所述的基于光學(xué)和紅外圖像融合的低發(fā)射率涂層智能探損方法，其特征在于，所述圖像融合，是將獲取的待檢測(cè)的低發(fā)射率涂層光學(xué)圖像，或是將獲取的有損傷和無(wú)損傷的低發(fā)射率涂層光學(xué)圖像，和與該光學(xué)圖像同位置、同視角、同尺寸的紅外圖像在通道維度進(jìn)行對(duì)應(yīng)疊加融合，將三通道的RGB光學(xué)圖像在通道維度疊加紅外圖像得到四通道的RGBI融合圖像。

4.根據(jù)權(quán)利要求2所述的基于光學(xué)和紅外圖像融合的低發(fā)射率涂層智能探損方法，其特征在于，所述步驟S13中是采用矩形框框住用于訓(xùn)練模型的低發(fā)射率涂層的融合圖像中的損傷，對(duì)所得用于訓(xùn)練模型的低發(fā)射率涂層的融合圖像中的損傷位置進(jìn)行標(biāo)記，標(biāo)記格式為[損傷類(lèi)型,x_min,y_min,x_max,y_max]，x_min和y_min為標(biāo)記的矩形框的左上角的坐標(biāo)，x_max和y_max為標(biāo)記的矩形框的右下角的坐標(biāo)；矩形框的坐標(biāo)是以當(dāng)前處理的圖像的左上角為坐標(biāo)原點(diǎn)，以坐標(biāo)原點(diǎn)向右為x軸的正方向，以坐標(biāo)原點(diǎn)向下為y軸的正方向，坐標(biāo)軸以每個(gè)像素為一個(gè)單位建立坐標(biāo)系后得到的。

5.根據(jù)權(quán)利要求2～4任一項(xiàng)所述的基于光學(xué)和紅外圖像融合的低發(fā)射率涂層智能探損方法，其特征在于，所述歸一化處理，是按照下式進(jìn)行：

其中，μ為所有待檢測(cè)的低發(fā)射率涂層的融合圖像或所有用于訓(xùn)練模型的有損傷和無(wú)損傷的低發(fā)射率涂層的融合圖像的RGBI四個(gè)通道像素值的均值，σ為所有待檢測(cè)的低發(fā)射率涂層的融合圖像或所有用于訓(xùn)練模型的有損傷和無(wú)損傷的低發(fā)射率涂層的融合圖像的RGBI四個(gè)通道像素值的方差；g(x,y)表示歸一化前的圖像像素，x,y為當(dāng)前像素點(diǎn)的橫坐標(biāo)和縱坐標(biāo)，f(x,y)表示歸一化后的圖像像素。

6.根據(jù)權(quán)利要求2～4任一項(xiàng)所述的基于光學(xué)和紅外圖像融合的低發(fā)射率涂層智能探損方法，其特征在于，所述步驟S14的卷積神經(jīng)網(wǎng)絡(luò)選用卷積神經(jīng)網(wǎng)絡(luò)YOLO-V3。