[發(fā)明專利]音視頻信息獲取方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 201910637586.5
• 申請日: 2019-07-15
• 公開（公告）號(hào): CN112312039A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 路曉創(chuàng)
• 申請（專利權(quán)）人: 北京小米移動(dòng)軟件有限公司
• 主分類號(hào): H04N5/262
• 分類號(hào): H04N5/262;H04N5/265;H04N21/234;H04N21/233;G10L25/57;G10L17/00
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 康瑩

1.一種音視頻信息獲取方法，其特征在于，所述方法包括：

獲取談話過程中各個(gè)人物對應(yīng)的原始視頻信息和原始音頻信息；

基于所述原始音頻信息提取每個(gè)所述原始視頻信息中正在發(fā)言人物的視頻幀序列；

將提取的各所述視頻幀序列按照時(shí)間順序進(jìn)行拼接，得到拼接視頻信息；

將所述拼接視頻信息與所述原始音頻信息進(jìn)行匹配，得到音視頻信息。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述原始音頻信息提取每個(gè)所述原始視頻信息中正在發(fā)言人物的視頻幀序列，包括：

確定所述原始音頻信息中正在發(fā)言人物的音頻片段；

提取每個(gè)所述原始視頻信息中與所述音頻片段對應(yīng)的視頻幀序列。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述確定所述原始音頻信息中正在發(fā)言人物的音頻片段，包括：

對所述原始音頻信息進(jìn)行聲紋識(shí)別，得到正在發(fā)言人物的聲紋特征；

基于所述聲紋特征從所述原始音頻信息中篩選所述正在發(fā)言人物的音頻片段。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

確定所述音頻片段中所述正在發(fā)言人物的音頻發(fā)言起點(diǎn)；

基于所述音頻發(fā)言起點(diǎn)對所述拼接視頻信息進(jìn)行校正。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取談話過程中各個(gè)人物對應(yīng)的原始視頻信息，包括：

獲取多個(gè)圖像采集裝置在所述各個(gè)人物進(jìn)行所述談話過程中同時(shí)采集的多個(gè)原始視頻信息。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

在所述正在發(fā)言人物發(fā)言的過程中，將所述正在發(fā)言人物的視頻圖像展示在終端屏幕上的第一預(yù)設(shè)顯示區(qū)域，以及將其他人物的視頻圖像展示在所述終端屏幕上的第二預(yù)設(shè)顯示區(qū)域，所述其他人物包括所述各個(gè)人物中除所述正在發(fā)言人物之外的人物。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述將所述正在發(fā)言人物的視頻圖像展示在終端屏幕上的第一預(yù)設(shè)顯示區(qū)域，包括：

確定所述正在發(fā)言人物的數(shù)量；

若所述數(shù)量大于或等于2，則以分屏的方式將所述正在發(fā)言人物的視頻圖像均展示在終端屏幕上的第一預(yù)設(shè)顯示區(qū)域。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

若檢測到所述正在發(fā)言人物的聲音強(qiáng)度高于或等于預(yù)設(shè)閾值，則生成用于提示降低聲音強(qiáng)度的提示信息。

9.一種音視頻信息獲取裝置，其特征在于，所述裝置包括：

視頻音頻獲取模塊，用于獲取談話過程中各個(gè)人物對應(yīng)的原始視頻信息和原始音頻信息；

幀序列提取模塊，用于基于所述原始音頻信息提取每個(gè)所述原始視頻信息中正在發(fā)言人物的視頻幀序列；

幀序列拼接模塊，用于將提取的各所述視頻幀序列按照時(shí)間順序進(jìn)行拼接，得到拼接視頻信息；

音視頻信息獲取模塊，用于將所述拼接視頻信息與所述原始音頻信息進(jìn)行匹配，得到音視頻信息。

10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述幀序列提取模塊，包括：

音頻片段獲取單元，用于確定所述原始音頻信息中正在發(fā)言人物的音頻片段；

幀序列提取單元，用于提取每個(gè)所述原始視頻信息中與所述音頻片段對應(yīng)的視頻幀序列。

11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述音頻片段獲取單元還用于：

對所述原始音頻信息進(jìn)行聲紋識(shí)別，得到正在發(fā)言人物的聲紋特征；

基于所述聲紋特征從所述原始音頻信息中篩選所述正在發(fā)言人物的音頻片段。