[發(fā)明專利]一種基于實(shí)時(shí)視頻流的目標(biāo)檢測(cè)和識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011128268.5
• 申請(qǐng)日: 2020-10-21
• 公開（公告）號(hào): CN112257569B
• 公開（公告）日: 2021-11-19
• 發(fā)明（設(shè)計(jì)）人: 段剛;李衷怡
• 申請(qǐng)（專利權(quán)）人: 青海城市云大數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/40;G06N3/04;G06N3/08
• 代理公司: 青海省專利服務(wù)中心 63100
• 代理人: 李玉青

1.一種基于實(shí)時(shí)視頻流的目標(biāo)檢測(cè)和識(shí)別方法，其特征在于：包括如下步驟：

S1:根據(jù)用戶需求制定巡檢計(jì)劃；

S2:根據(jù)巡檢計(jì)劃控制攝像頭轉(zhuǎn)動(dòng)到指定預(yù)制位；

S3:從攝像頭獲取視頻流檢測(cè)當(dāng)前視頻幀序列是否存在目標(biāo)，檢測(cè)時(shí)在獲得的視頻幀序列中選擇第一幀為背景幀，同時(shí)利用中值濾波對(duì)視頻幀進(jìn)行背景建模，并以此計(jì)算出背景閾值，最后利用幀差法快速得到運(yùn)動(dòng)目標(biāo)活動(dòng)區(qū)域，即存在目標(biāo)，執(zhí)行步驟S4，否則延時(shí)等待繼續(xù)獲取視頻流檢測(cè)當(dāng)前視頻幀，延時(shí)結(jié)束后還未發(fā)現(xiàn)目標(biāo)，則跳轉(zhuǎn)至步驟S2控制攝像頭轉(zhuǎn)動(dòng)到下一個(gè)指定預(yù)制位；

S4:發(fā)現(xiàn)目標(biāo)則控制攝像頭聚焦到目標(biāo)區(qū)域，控制攝像頭聚焦時(shí)，根據(jù)其相對(duì)位置，調(diào)整攝像頭的方位和焦距；

S5:截取當(dāng)前區(qū)域圖像，通過(guò)輸入深度學(xué)習(xí)網(wǎng)絡(luò)模型來(lái)識(shí)別目標(biāo)類別，步驟包括：

Sa1：輸入待處理圖像至深度學(xué)習(xí)網(wǎng)絡(luò)模型；

Sa2：深度學(xué)習(xí)網(wǎng)絡(luò)將圖像經(jīng)過(guò)初始化卷積映射到高維特征空間；

初始化卷積依次包括3×3×1的卷積a、3×3×2的卷積b、批歸一化BN、激活函數(shù)Relu；待處理圖像首先經(jīng)過(guò)卷積a將通道數(shù)增加，通過(guò)3×3×2的卷積b進(jìn)行下采樣得到特征圖，然后進(jìn)行批歸一化BN處理，經(jīng)過(guò)激活函數(shù)Relu后作為下一級(jí)網(wǎng)絡(luò)輸入；

Sa3：經(jīng)過(guò)特征提取網(wǎng)絡(luò)、特征增強(qiáng)模塊獲得圖像中每個(gè)目標(biāo)的特征信息；其中，特征提取網(wǎng)絡(luò)則是由10-30個(gè)殘差卷積模塊組成，每幾個(gè)殘差卷積之間連接一個(gè)3×3×2的卷積b進(jìn)行下采樣；每個(gè)殘差卷積模塊從輸入到輸出依次為1×1×1的卷積c、批歸一化BN、激活函數(shù)Relu、3×3×1的卷積a、批歸一化BN、激活函數(shù)Relu；卷積b可以改變特征圖的大小，從而得到更高層次的特征圖，再通過(guò)殘差卷積的級(jí)聯(lián)，提取高層次上的特征信息；

特征增強(qiáng)模塊利用深層特征通過(guò)空間金字塔池化SPP之后，與淺層特征一起經(jīng)過(guò)路徑聚合網(wǎng)絡(luò)PAN進(jìn)行融合，其主要作用是通過(guò)多層次特征學(xué)習(xí)提升目標(biāo)檢測(cè)與識(shí)別精度；

特征提取網(wǎng)絡(luò)提取不同層次的特征，淺層特征有利于小目標(biāo)檢測(cè)，深層特征有利于目標(biāo)識(shí)別；

Sa4：預(yù)測(cè)輸出時(shí)，通過(guò)sofmax函數(shù)，得到目標(biāo)的類別置信度和目標(biāo)框的坐標(biāo)；輸出具體構(gòu)成為目標(biāo)框的偏移量Δx、Δy，錨點(diǎn)的縮放尺度a、b，檢測(cè)到目標(biāo)的概率，目標(biāo)屬于每個(gè)類別的置信度；根據(jù)目標(biāo)框的坐標(biāo)，在原圖上標(biāo)記目標(biāo)所在位置，并顯示預(yù)測(cè)的類別置信度；檢測(cè)到目標(biāo)的概率，用于對(duì)目標(biāo)框的初步篩選；

S6:輸出檢測(cè)和識(shí)別結(jié)果；

S7:返回步驟S2繼續(xù)執(zhí)行巡檢計(jì)劃。

2.根據(jù)權(quán)利要求1所述的一種基于實(shí)時(shí)視頻流的目標(biāo)檢測(cè)和識(shí)別方法，其特征在于：在預(yù)測(cè)時(shí)，進(jìn)行三種尺度下的預(yù)測(cè)，取最后三個(gè)尺度的特征圖，經(jīng)過(guò)SPP和PAN之后，將三個(gè)尺度的特征輸入到檢測(cè)模塊進(jìn)行回歸和分類得到輸出結(jié)果；檢測(cè)模塊由3個(gè)殘差模塊加上固定通道數(shù)等于(分類類別數(shù)+5)*3的卷積c構(gòu)成。

3.根據(jù)權(quán)利要求2所述的一種基于實(shí)時(shí)視頻流的目標(biāo)檢測(cè)和識(shí)別方法，其特征在于：當(dāng)檢測(cè)到目標(biāo)的概率大于設(shè)定閾值時(shí)，其中閾值設(shè)定為0.4～0.5之間，即當(dāng)前像素點(diǎn)位置屬于待檢測(cè)目標(biāo)的可能性大于設(shè)定值，則保留該結(jié)果，并對(duì)目標(biāo)框進(jìn)行非極大值抑制篩選去重，確定該位置處交并比IoU最大的目標(biāo)框，最后將該目標(biāo)框及其置信度作為最終結(jié)果輸出并顯示。