[發明專利]視頻人物識別方法、裝置、存儲介質與電子設備

在審

• 申請號: 201911029707.4
• 申請日: 2019-10-28
• 公開（公告）號: CN110909613A
• 公開（公告）日: 2020-03-24
• 發明（設計）人: 彭冬煒
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G10L17/04;G06K9/62
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 劉抗美

1.一種視頻人物識別方法，其特征在于，包括：

從目標視頻中獲取關鍵幀圖像；

從所述關鍵幀圖像中提取人物外觀特征；

根據所述關鍵幀圖像在所述目標視頻中的時間，從所述目標視頻的音頻中截取所述關鍵幀圖像對應的子音頻，從所述子音頻中提取聲紋特征；

利用預先訓練的融合模型對所述人物外觀特征和所述聲紋特征進行處理，得到所述目標視頻的人物識別結果。

2.根據權利要求1所述的方法，其特征在于，所述人物外觀特征包括人臉特征；

所述從所述關鍵幀圖像中提取人物外觀特征，包括：

檢測所述關鍵幀圖像中的人臉區域，以從所述關鍵幀圖像中截取人臉子圖像；

利用預先訓練的卷積神經網絡從所述人臉子圖像中提取所述人臉特征。

3.根據權利要求1所述的方法，其特征在于，所述利用預先訓練的融合模型對所述人物外觀特征和所述聲紋特征進行處理，得到所述目標視頻的人物識別結果，包括：

將所述人物外觀特征和所述聲紋特征合并，得到綜合特征；

將所述綜合特征輸入所述融合模型，以輸出所述目標視頻的人物識別結果。

4.根據權利要求3所述的方法，其特征在于，在將所述人物外觀特征和所述聲紋特征合并前，所述方法還包括：

根據所述關鍵幀圖像在所述目標視頻中的時間，以及所述子音頻在所述目標視頻中的時間區間，確定時間特征；

所述將所述人物外觀特征和所述聲紋特征合并，得到綜合特征，包括：

將所述人物外觀特征、所述聲紋特征和所述時間特征進行合并，得到所述綜合特征。

5.根據權利要求1所述的方法，其特征在于，所述聲紋特征包括梅爾頻率倒譜系數；所述從所述子音頻中提取聲紋特征，包括：

對所述子音頻進行預處理；

對預處理后的所述子音頻進行傅里葉變換，得到所述子音頻對應的頻譜；

根據所述頻譜計算出對應的幅度譜；

對所述幅度譜進行梅爾濾波處理，以計算出所述子音頻的梅爾頻率倒譜系數；

將所述梅爾頻率倒譜系數轉換為聲紋特征向量，并進行后處理。

6.根據權利要求5所述的方法，其特征在于，所述預處理包括以下任意一種或多種：提取語音信號、預加重、分幀、加窗處理；

所述后處理包括以下任意一種或多種：去均值、歸一化、降維處理。

7.根據權利要求5所述的方法，其特征在于，所述聲紋特征還包括以下任意一種或多種：廣義梅爾倒譜系數、譜包絡與能量特征、基頻、濁音/輕音分類特征、頻帶非周期分量。

8.一種視頻人物識別裝置，其特征在于，包括：

圖像獲取模塊，用于從目標視頻中獲取關鍵幀圖像；

第一提取模塊，用于從所述關鍵幀圖像中提取人物外觀特征；

第二提取模塊，用于根據所述關鍵幀圖像在所述目標視頻中的時間，從所述目標視頻的音頻中截取所述關鍵幀圖像對應的子音頻，從所述子音頻中提取聲紋特征；

特征處理模塊，用于利用預先訓練的融合模型對所述人物外觀特征和所述聲紋特征進行處理，得到所述目標視頻的人物識別結果。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7任一項所述的方法。

10.一種電子設備，其特征在于，包括：

處理器；以及

存儲器，用于存儲所述處理器的可執行指令；

其中，所述處理器配置為經由執行所述可執行指令來執行權利要求1至7任一項所述的方法。