[發(fā)明專利]毫米波三維全息圖像隱匿物品檢測(cè)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011507928.0
• 申請(qǐng)日: 2020-12-18
• 公開(kāi)（公告）號(hào): CN112597989B
• 公開(kāi)（公告）日: 2021-09-14
• 發(fā)明（設(shè)計(jì)）人: 吳亮;李懷乾;楊明輝;錢蓉;孫曉瑋
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所
• 主分類號(hào): G06K9/20
• 分類號(hào): G06K9/20;G06K9/34;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海泰能知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31233
• 代理人: 黃志達(dá)

本發(fā)明提供一種定位精確的毫米波三維全息圖像隱匿物品檢測(cè)方法及系統(tǒng)，包括：對(duì)原始三維全息圖像高通濾波并體素化；通過(guò)稀疏3D卷積及子流形稀疏3D卷積對(duì)體素化后的三維圖像降采樣并提取低層次三維空間幾何特征，再使用子流形稀疏3D空洞卷積獲取長(zhǎng)程上下文信息提取高層次語(yǔ)義特征，輸出四維張量；通過(guò)合并深度維度及通道維度，將四維張量變換為三維張量，再進(jìn)行分類任務(wù)及邊界框回歸任務(wù)，得到邊界框及置信度。本發(fā)明使用三維數(shù)據(jù)作為輸入，提高了小目標(biāo)的數(shù)據(jù)量的同時(shí)降低其周圍噪聲，并引入深度維度，完整保留了物體的三維空間幾何信息而無(wú)失真，提升了小物體的辯認(rèn)度，從而有效提升了毫米波三維全息圖像中的隱匿物體的檢出率與定位精度。

技術(shù)領(lǐng)域

本發(fā)明涉及三維圖像處理技術(shù)領(lǐng)域，特別是涉及一種毫米波三維全息圖像隱匿物品檢測(cè)方法及系統(tǒng)。

背景技術(shù)

檢測(cè)人員衣服下的隱匿物體是確保公共安全的重要手段之一。毫米波可以穿透衣服，且毫米波輻射為非電離輻射，對(duì)人體健康無(wú)危害，適合隱匿物品檢測(cè)任務(wù)。主動(dòng)式毫米波(Active Millimeter Wave，AMMW)全息成像技術(shù)使用毫米波雷達(dá)掃描被檢人員，并重建其三維全息圖像，用于查看衣服下的隱匿物體。隱匿物品檢測(cè)試圖從掃描圖像中檢測(cè)具有潛在威脅的物品并定位。在機(jī)場(chǎng)、車站等人流量大或人員密集的場(chǎng)所，要求檢測(cè)快速準(zhǔn)確。因此，自動(dòng)實(shí)時(shí)檢測(cè)隱匿物品對(duì)安全行業(yè)具有重要意義。然而，AMMW全息圖像隱匿物品檢測(cè)任務(wù)存在以下挑戰(zhàn)：一方面，由于硬件限制，AMMW全息圖像空間分辨率一般較低，而隱匿物品種類繁多且大多數(shù)尺寸較小，給準(zhǔn)確檢測(cè)與定位帶來(lái)挑戰(zhàn)；另一方面，處理三維數(shù)據(jù)帶來(lái)巨大的計(jì)算壓力，使得實(shí)時(shí)檢測(cè)并非易事。

為降低計(jì)算成本，提高檢測(cè)速度，大多數(shù)方法首先沿深度方向取最大值投影，再針對(duì)投影所得的二維正視圖進(jìn)行檢測(cè)。但是投影過(guò)程中丟失了深度信息，且造成圖像失真，不利于準(zhǔn)確檢測(cè)與定位。為引入深度信息，現(xiàn)有技術(shù)中使用二維正視圖每個(gè)點(diǎn)對(duì)應(yīng)的深度構(gòu)成深度圖，融合深度圖與正視圖輸入改進(jìn)的Faster R-CNN(Region-Convolutional NeuralNetwork，基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò))進(jìn)行檢測(cè)。該方法引入了一定的深度信息，有效提高了檢出率。為更大程度上利用三維幾何信息，將全息圖像沿14個(gè)角度投影，使用改進(jìn)的FasterR-CNN分別對(duì)14幅二維視圖進(jìn)行檢測(cè)，再將結(jié)果融合至前后兩視圖作為最終的檢測(cè)結(jié)果。該方法有效提高了檢出率與定位精度，但檢測(cè)每組數(shù)據(jù)耗時(shí)2.87s，無(wú)法滿足實(shí)時(shí)檢測(cè)要求。

自動(dòng)駕駛的火熱促進(jìn)了三維目標(biāo)檢測(cè)的發(fā)展，然而，幾乎沒(méi)有針對(duì)AMMW全息圖像的三維目標(biāo)檢測(cè)器。因此，如何針對(duì)AMMW全息圖像進(jìn)行三維目標(biāo)檢測(cè)已成為本領(lǐng)域技術(shù)人員亟待解決的問(wèn)題之一。

發(fā)明內(nèi)容

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種毫米波三維全息圖像隱匿物品檢測(cè)方法及系統(tǒng)，用于解決現(xiàn)有技術(shù)中AMMW全息圖像的隱匿物品檢測(cè)及定位準(zhǔn)確性低、計(jì)算成本大、檢測(cè)速度慢等問(wèn)題。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種毫米波三維全息圖像隱匿物品檢測(cè)方法，所述毫米波三維全息圖像隱匿物品檢測(cè)方法至少包括：

S1)對(duì)目標(biāo)進(jìn)行毫米波掃描，獲得原始三維全息圖像；

S2)對(duì)所述原始三維全息圖像進(jìn)行高通濾波獲取前景圖像；

S3)對(duì)所述前景圖像進(jìn)行體素化，使用每個(gè)體素格中各點(diǎn)特征的均值作為對(duì)應(yīng)體素格的特征；

S4)將體素化后的三維圖像饋入三維特征提取器，通過(guò)稀疏3D卷積及子流形稀疏3D卷積對(duì)三維圖像進(jìn)行降采樣并提取低層次三維空間幾何特征，再使用子流形稀疏3D空洞卷積獲取長(zhǎng)程上下文信息提取高層次語(yǔ)義特征，輸出四維張量；

S5)將所述四維張量變換為三維張量，饋入?yún)^(qū)域候選網(wǎng)絡(luò)進(jìn)行分類任務(wù)及邊界框回歸任務(wù)，得到隱匿物品在所述原始三維全息圖像沿深度方向投影所得的正視圖上的邊界框及置信度。