[發(fā)明專利]基于可見光圖像與紅外圖像融合的行人檢測方法、模型、電子設(shè)備和計(jì)算機(jī)可讀介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210516263.2
• 申請(qǐng)日: 2022-05-12
• 公開（公告）號(hào): CN114937309A
• 公開（公告）日: 2022-08-23
• 發(fā)明（設(shè)計(jì)）人: 張素民;白日;何睿;劉潔美;李星辰
• 申請(qǐng)（專利權(quán)）人: 吉林大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V40/10;G06V10/22;G06V10/25;G06V10/40;G06V10/764;G06V10/77;G06V10/80;G06V10/82;G06N3/04;G06T3/00;G06T7/80
• 代理公司: 西安知誠思邁知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61237
• 代理人: 何秀娟

1.基于可見光圖像與紅外圖像融合的行人檢測方法，其特征在于，包括：

同步獲取包含有行人的紅外圖像與可見光圖像；

對(duì)獲取的所述紅外圖像與所述可見光圖像進(jìn)行標(biāo)定、配準(zhǔn)；

配準(zhǔn)的紅外圖像與對(duì)應(yīng)的可見光圖像組成數(shù)據(jù)對(duì)，各數(shù)據(jù)對(duì)構(gòu)成公共標(biāo)簽文件；

對(duì)所述公共標(biāo)簽文件中的紅外圖像和可見光圖像分別進(jìn)行特征提取，獲得各自的特征圖，并獲取其中所述紅外圖像的ROI信息；

將所述紅外圖像的ROI信息映射到對(duì)應(yīng)的可見光圖像的特征圖上，得到融合后的特征圖；

對(duì)于所述融合后的特征圖，采用softmax方法分類，并用目標(biāo)框回歸方法調(diào)整位置，最終提取出目標(biāo)類別和識(shí)別框，從而實(shí)現(xiàn)行人檢測。

2.根據(jù)權(quán)利要求1所述的基于可見光圖像與紅外圖像融合的行人檢測方法，其特征在于，對(duì)所述紅外圖像與所述可見光圖像進(jìn)行標(biāo)定、配準(zhǔn)，具體包括以下步驟：

分別定義紅外相機(jī)和光學(xué)相機(jī)在世界坐標(biāo)系下的坐標(biāo)，在對(duì)應(yīng)坐標(biāo)系下對(duì)標(biāo)定板上不同位姿和距離的角點(diǎn)拍攝紅外圖像和可見光圖像；

根據(jù)紅外相機(jī)或光學(xué)相機(jī)的尺寸因子、角點(diǎn)在像素坐標(biāo)系和世界坐標(biāo)系的坐標(biāo)，得到紅外相機(jī)或光學(xué)相機(jī)的單應(yīng)性矩陣，再根據(jù)多組角點(diǎn)坐標(biāo)和約束性條件，得到紅外相機(jī)或光學(xué)相機(jī)的內(nèi)參矩陣和外參矩陣；所述紅外相機(jī)或光學(xué)相機(jī)的外參矩陣包括角點(diǎn)相對(duì)于紅外相機(jī)或光學(xué)相機(jī)主點(diǎn)的旋轉(zhuǎn)矩陣和平移矩陣；

根據(jù)角點(diǎn)相對(duì)于紅外相機(jī)和光學(xué)相機(jī)的外參矩陣，得到紅外相機(jī)相對(duì)于光學(xué)相機(jī)的旋轉(zhuǎn)矩陣和平移矩陣，確定紅外相機(jī)和光學(xué)相機(jī)之間的坐標(biāo)系轉(zhuǎn)變關(guān)系，完成標(biāo)定；

對(duì)于獲取的所述包含有行人的紅外圖像與可見光圖像，根據(jù)確定的所述紅外相機(jī)和光學(xué)相機(jī)之間的坐標(biāo)系轉(zhuǎn)變關(guān)系，進(jìn)行配準(zhǔn)。

3.根據(jù)權(quán)利要求2所述的基于可見光圖像與紅外圖像融合的行人檢測方法，其特征在于，在確定紅外相機(jī)和光學(xué)相機(jī)之間的坐標(biāo)系轉(zhuǎn)變關(guān)系的過程中，還包括：輸入紅外相機(jī)和光學(xué)相機(jī)的畸變矩陣。

4.根據(jù)權(quán)利要求1所述的基于可見光圖像與紅外圖像融合的行人檢測方法，其特征在于，所述各數(shù)據(jù)對(duì)構(gòu)成公共標(biāo)簽文件的過程，包括以下步驟：

對(duì)配準(zhǔn)后的紅外圖像與對(duì)應(yīng)的可見光圖像分別進(jìn)行標(biāo)注，形成各自的標(biāo)注項(xiàng)；由所述紅外圖像與所述可見光圖像的標(biāo)注項(xiàng)，分別構(gòu)成所述紅外圖像與所述可見光圖像的標(biāo)簽文件；

遍歷所述紅外圖像與所述可見光圖像的標(biāo)注項(xiàng)，計(jì)算兩個(gè)標(biāo)簽文件中各個(gè)標(biāo)注項(xiàng)之間的交并比；對(duì)于一個(gè)標(biāo)簽文件中的標(biāo)注項(xiàng)，在另外一個(gè)標(biāo)簽文件中僅有一個(gè)對(duì)應(yīng)標(biāo)注項(xiàng)與之的交并比大于設(shè)定閾值時(shí)，將該標(biāo)注項(xiàng)與對(duì)應(yīng)標(biāo)注項(xiàng)存入共用標(biāo)簽文件中；

當(dāng)所述標(biāo)注項(xiàng)未檢索到與之交并比大于設(shè)定閾值的對(duì)應(yīng)標(biāo)注項(xiàng)時(shí)，則舍棄該所述標(biāo)注項(xiàng)；當(dāng)所述標(biāo)注項(xiàng)檢索到多項(xiàng)與之交并比大于設(shè)定閾值的對(duì)應(yīng)標(biāo)注項(xiàng)時(shí)，對(duì)所述設(shè)定閾值進(jìn)行更新，再次進(jìn)入標(biāo)注過程，直到標(biāo)簽文件所有標(biāo)注項(xiàng)完成標(biāo)注過程，結(jié)束循環(huán)。

5.根據(jù)權(quán)利要求1所述的基于可見光圖像與紅外圖像融合的行人檢測方法，其特征在于，對(duì)于所述公共標(biāo)簽文件中的紅外圖像，經(jīng)過改進(jìn)的Darknet主干網(wǎng)絡(luò)進(jìn)行多次特征提取，得到紅外圖像的特征圖；其中，每次所述特征提取均由上一層特征圖為輸入，經(jīng)過卷積層、殘差網(wǎng)絡(luò)、稠密塊處理，分別進(jìn)行特征提取、跳躍連接、特征重用，得到下一層特征圖，最后一層特征提取模塊獲得的特征圖作為紅外圖像的特征圖。