[發(fā)明專利]視頻處理的方法、裝置和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010157708.3
• 申請(qǐng)日: 2020-03-09
• 公開（公告）號(hào): CN111209897B
• 公開（公告）日: 2023-06-20
• 發(fā)明（設(shè)計(jì)）人: 吳韜;徐敘遠(yuǎn);劉孟洋
• 申請(qǐng)（專利權(quán)）人: 深圳市雅閱科技有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/774;G06V40/16;H04N5/265;G06V40/10
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 賈允

1.一種視頻處理方法，所述方法包括：

獲取待處理視頻和表示目標(biāo)對(duì)象的目標(biāo)人體區(qū)域；

檢測(cè)所述待處理視頻中的多個(gè)人體區(qū)域；

將所述多個(gè)人體區(qū)域輸入經(jīng)訓(xùn)練的特征提取網(wǎng)絡(luò)，得到分別描述所述多個(gè)人體區(qū)域的多個(gè)第一特征，和將所述目標(biāo)人體區(qū)域輸入所述經(jīng)訓(xùn)練的特征提取網(wǎng)絡(luò)，得到描述所述目標(biāo)人體區(qū)域的第二特征；

將所述多個(gè)第一特征分別與所述第二特征進(jìn)行比較，得到與所述第二特征相匹配的所述第一特征中的至少一個(gè)第一匹配特征；

確定所述至少一個(gè)第一匹配特征在所述待處理視頻中的所對(duì)應(yīng)的各個(gè)時(shí)間點(diǎn)；

基于所述各個(gè)時(shí)間點(diǎn)處理所述待處理視頻以獲取與所述目標(biāo)對(duì)象關(guān)聯(lián)的視頻部分；

其中，所述特征提取網(wǎng)絡(luò)是使用基于人體區(qū)域樣本集合構(gòu)建的數(shù)據(jù)集進(jìn)行訓(xùn)練的，且所述人體區(qū)域樣本集合是針對(duì)按照視頻拍攝鏡頭劃分的多個(gè)視頻分段分別生成的；

其中所述數(shù)據(jù)集通過下述步驟構(gòu)建：

獲取用于所述特征提取網(wǎng)絡(luò)的訓(xùn)練視頻；

按照視頻拍攝鏡頭將所述訓(xùn)練視頻劃分為多個(gè)訓(xùn)練視頻分段；

針對(duì)所述多個(gè)訓(xùn)練視頻分段中的每一個(gè)訓(xùn)練視頻分段，創(chuàng)建所述訓(xùn)練視頻分段的一個(gè)或多個(gè)人體區(qū)域樣本集合，所述一個(gè)或多個(gè)人體區(qū)域樣本集合中的每個(gè)人體區(qū)域樣本集合包括所述訓(xùn)練視頻分段所包含的多個(gè)視頻幀中的、相似度滿足預(yù)定閾值范圍的兩個(gè)或更多個(gè)人體區(qū)域；

確定一個(gè)或多個(gè)所述人體區(qū)域樣本集合中是否包含人臉；

響應(yīng)于確定一個(gè)或多個(gè)人體區(qū)域樣本集合中的各個(gè)人體區(qū)域中包含人臉，基于人臉的特征對(duì)一個(gè)或多個(gè)人體區(qū)域樣本集合進(jìn)行合并以構(gòu)建數(shù)據(jù)集。

2.如權(quán)利要求1所述的視頻處理方法，所述針對(duì)所述多個(gè)訓(xùn)練視頻分段中的每一個(gè)訓(xùn)練視頻分段，創(chuàng)建所述訓(xùn)練視頻分段的一個(gè)或多個(gè)人體區(qū)域樣本集合包括：

針對(duì)所述多個(gè)訓(xùn)練視頻分段中的每一個(gè)訓(xùn)練視頻分段，所述每一個(gè)訓(xùn)練視頻分段包含屬于相同視頻拍攝鏡頭的多個(gè)視頻幀，檢測(cè)所述多個(gè)視頻幀中的人體區(qū)域；

判斷所檢測(cè)到的兩個(gè)或更多個(gè)人體區(qū)域之間的相似度；

將相似度滿足預(yù)定閾值范圍的兩個(gè)或更多個(gè)人體區(qū)域加入到相同的集合中以生成所述訓(xùn)練視頻分段的一個(gè)或多個(gè)人體區(qū)域樣本集合。

3.如權(quán)利要求1或2所述的視頻處理方法，所述響應(yīng)于確定一個(gè)或多個(gè)人體區(qū)域樣本集合中的各個(gè)人體區(qū)域中包含人臉，基于人臉的特征對(duì)一個(gè)或多個(gè)人體區(qū)域樣本集合進(jìn)行合并以構(gòu)建數(shù)據(jù)集包括：

響應(yīng)于確定一個(gè)或多個(gè)人體區(qū)域樣本集合中的各個(gè)人體區(qū)域中包含人臉，從各個(gè)人體區(qū)域樣本集合中分別選取相同預(yù)定數(shù)量的人臉；

對(duì)從各個(gè)人體區(qū)域樣本集合中所選取的人臉進(jìn)行人臉相似度比較；

將所述人臉相似度高于第一預(yù)定閾值的人體區(qū)域樣本集合進(jìn)行合并以構(gòu)建數(shù)據(jù)集。

4.如權(quán)利要求1所述的視頻處理方法，所述數(shù)據(jù)集還通過下述步驟構(gòu)建：

利用行人重識(shí)別ReID確定相同人體區(qū)域樣本集合中的人體區(qū)域相似度低于預(yù)定閾值的人體區(qū)域；

從所述人體區(qū)域樣本集合中去除所述人體區(qū)域相似度低于第二預(yù)定閾值的人體區(qū)域。

5.如權(quán)利要求2所述的視頻處理方法，所述判斷所檢測(cè)到的兩個(gè)或更多個(gè)人體區(qū)域之間的相似度包括：基于人工特征判斷所檢測(cè)到的兩個(gè)或更多個(gè)人體區(qū)域之間的相似度。