[發(fā)明專利]一種目標(biāo)信息的識別方法及設(shè)備

有效

• 申請?zhí)枺?/td>: 201811123345.0
• 申請日: 2018-09-26
• 公開（公告）號: CN109168024B
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計）人: 韋享忠
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/233;H04N21/44;H04N21/439
• 代理公司: 深圳中一專利商標(biāo)事務(wù)所 44237
• 代理人: 官建紅

1.一種目標(biāo)信息的識別方法，其特征在于，包括：

若接收到待識別的視頻文件，則對所述視頻文件進(jìn)行解析，得到所述視頻文件的圖像軌道數(shù)據(jù)以及音頻軌道數(shù)據(jù)；

提取所述圖像軌道數(shù)據(jù)中每一視頻圖像幀的圖像特征值；

基于所述圖像特征值檢測各個所述視頻圖像幀是否包含目標(biāo)信息，并標(biāo)記包含所述目標(biāo)信息的所述視頻圖像幀；

對所述音頻軌道數(shù)據(jù)進(jìn)行語音識別，確定所述音頻軌道數(shù)據(jù)對應(yīng)的臺詞文本；

若所述臺詞文本包含所述目標(biāo)信息關(guān)聯(lián)的特征關(guān)鍵詞，則在所述音頻軌道數(shù)據(jù)中標(biāo)記所述特征關(guān)鍵詞的音頻段落；

基于標(biāo)記的所述視頻圖像幀以及所述音頻段落，生成所述視頻文件的目標(biāo)信息記錄；

所述對所述音頻軌道數(shù)據(jù)進(jìn)行語音識別，確定所述音頻軌道數(shù)據(jù)對應(yīng)的臺詞文本，包括：

對所述音頻軌道數(shù)據(jù)進(jìn)行傅里葉變換，生成所述音頻軌道數(shù)據(jù)的頻域數(shù)據(jù)；

根據(jù)所述頻域數(shù)據(jù)以及人體可發(fā)聲頻段范圍，將所述頻域數(shù)據(jù)劃分為環(huán)境音頻段數(shù)據(jù)以及人聲頻段數(shù)據(jù)；

基于所述環(huán)境音頻段數(shù)據(jù)，確定所述視頻文件的拍攝場景信息；

對所述人聲頻段數(shù)據(jù)進(jìn)行逆傅里葉變換，得到人聲軌道數(shù)據(jù)，并對所述人聲軌道數(shù)據(jù)進(jìn)行語音識別，確定對話文本；

根據(jù)所述拍攝場景信息以及所述對話文本，生成所述臺詞文本。

2.根據(jù)權(quán)利要求1所述的識別方法，其特征在于，所述提取所述圖像軌道數(shù)據(jù)中每一視頻圖像幀的圖像特征值，包括：

對所述視頻圖像幀進(jìn)行輪廓識別處理，獲取所述視頻圖像幀內(nèi)拍攝主體的輪廓信息，并根據(jù)所述輪廓信息從所述視頻圖像幀中截取各個拍攝主體的區(qū)域圖像；

通過預(yù)設(shè)的視覺組神經(jīng)網(wǎng)絡(luò)的五層池化層對所述拍攝主體的區(qū)域圖像進(jìn)行降維，得到該拍攝主體的視覺特征向量；其中，所述五層池化層具體為：

V₁(A_mn)＝mp₁(3，64，A_mn)；

V₂(A_mn)＝mp₂(3，128，V₁(A_mn))；

V₃(A_mn)＝mp₃(3，256，V₂(A_mn))；

V₄(A_mn)＝mp₄(3，512，V₂(A_mn))；

V₅(A_mn)＝mp₅(1，1，V₄(A_mn))；

其中，所述A_mn為拍攝主體的區(qū)域圖像；所述V₁(A_mn)、V₂(A_mn)、V₃(A_mn)以及V₄(A_mn)分別為第1到第4層池化層降維后的輸出向量；所述V₅(A_mn)為所述視覺特征向量；所述m為所述拍攝主體的區(qū)域圖像的行數(shù)；所述n為在所述拍攝主體的區(qū)域圖像的列數(shù)；

將各個所述視覺特征向量導(dǎo)入所述視覺組神經(jīng)網(wǎng)絡(luò)的全連接層，輸出所述視頻圖像幀的所述圖像特征值。

3.根據(jù)權(quán)利要求1-2任一項所述的識別方法，其特征在于，在所述基于標(biāo)記的所述視頻圖像幀以及所述音頻段落，生成所述視頻文件的目標(biāo)信息記錄之后，還包括：

對標(biāo)記的所述視頻圖像幀進(jìn)行圖像模糊處理，生成模糊處理后的視頻圖像幀；

對所述音頻段落進(jìn)行消音處理，生成消音后的音頻段落；

根據(jù)所述模糊處理后的視頻圖像幀以及所述消音后的音頻段落修改所述視頻文件，并發(fā)布修改后的所述視頻文件。

4.根據(jù)權(quán)利要求1-2任一項所述的識別方法，其特征在于，所述基于所述圖像特征值檢測各個所述視頻圖像幀是否包含目標(biāo)信息，包括：

基于拍攝對象索引表，確定所述圖像特征值對應(yīng)的拍攝對象；

檢測所述拍攝對象是否在所述目標(biāo)信息關(guān)聯(lián)的特征對象列表。