[發(fā)明專利]識(shí)別媒體文件中人聲配音類型的方法、裝置及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110383017.X
• 申請(qǐng)日: 2021-04-09
• 公開(kāi)（公告）號(hào): CN113516154A
• 公開(kāi)（公告）日: 2021-10-19
• 發(fā)明（設(shè)計(jì)）人: 馬天澤
• 申請(qǐng)（專利權(quán)）人: 北京小米移動(dòng)軟件有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08;G06N20/00;G10L15/02;G10L15/06;G10L15/16;G10L21/0272
• 代理公司: 北京鉦霖知識(shí)產(chǎn)權(quán)代理有限公司 11722
• 代理人: 李志新;劉亞平

本公開(kāi)是關(guān)于一種識(shí)別媒體文件中人聲配音類型的方法、裝置及存儲(chǔ)介質(zhì)。一種識(shí)別媒體文件中人聲配音類型的方法，包括：獲取待識(shí)別的媒體文件，媒體文件至少包括音頻數(shù)據(jù)，音頻數(shù)據(jù)至少包括人聲配音數(shù)據(jù)。基于預(yù)先訓(xùn)練得到的類型識(shí)別模型，確定人聲配音數(shù)據(jù)中的人聲配音的配音類型，配音類型包括真實(shí)人聲和模擬人聲。通過(guò)本公開(kāi)提供的識(shí)別媒體文件中人聲配音類型的方法，能夠通過(guò)預(yù)先訓(xùn)練得到的類型識(shí)別模型將媒體文件中人聲配音數(shù)據(jù)中的人聲配音進(jìn)行識(shí)別，進(jìn)而確定該人聲配音的配音類型屬于真實(shí)人聲還是模擬人聲，從而提高音頻分類的辨識(shí)度，解決無(wú)法有效分辨人聲配音的配音類型的問(wèn)題。

技術(shù)領(lǐng)域

本公開(kāi)涉及多媒體技術(shù)領(lǐng)域，尤其涉及一種識(shí)別媒體文件中人聲配音類型的方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著手機(jī)、平板及便攜式錄像設(shè)備等移動(dòng)終端的普及，視頻制作及傳播的門檻也越來(lái)越低。其中不乏有營(yíng)銷號(hào)，自動(dòng)合成等視頻作品，畫面粗糙且內(nèi)容毫無(wú)意義，甚至音頻也是由機(jī)器人合成的。目前雖然人們對(duì)音頻分類已有頗多研究，但尚沒(méi)有專門針對(duì)人聲類別進(jìn)行識(shí)別的成熟方案。

發(fā)明內(nèi)容

為克服相關(guān)技術(shù)中存在的問(wèn)題，本公開(kāi)提供一種識(shí)別媒體文件中人聲配音類型的方法、裝置及存儲(chǔ)介質(zhì)。

根據(jù)本公開(kāi)實(shí)施例的第一方面，提供一種識(shí)別媒體文件中人聲配音類型的方法，包括：獲取待識(shí)別的媒體文件，所述媒體文件至少包括音頻數(shù)據(jù)，所述音頻數(shù)據(jù)至少包括人聲配音數(shù)據(jù)。基于預(yù)先訓(xùn)練得到的類型識(shí)別模型，確定所述人聲配音數(shù)據(jù)中的人聲配音的配音類型，所述配音類型包括真實(shí)人聲和模擬人聲；其中，所述類型識(shí)別模型為使用真實(shí)人聲樣本集和模擬人聲樣本集通過(guò)機(jī)器學(xué)習(xí)訓(xùn)練得到，所述真實(shí)人聲樣本集包括多個(gè)真實(shí)人聲樣本，所述模擬人聲樣本集包括多個(gè)模擬人聲樣本，每個(gè)所述真實(shí)人聲樣本均包括一個(gè)真實(shí)人聲配音特征數(shù)據(jù)和真實(shí)人聲類型標(biāo)簽；每個(gè)所述模擬人聲樣本均包括一個(gè)模擬人聲配音特征數(shù)據(jù)和模擬人聲類型標(biāo)簽。

在一實(shí)施例中，所述待識(shí)別的媒體文件為視頻文件，所述媒體文件還包括圖像數(shù)據(jù)，所述音頻數(shù)據(jù)還包括背景音，在所述獲取所述視頻文件之后，所述方法還包括：從所述視頻文件提取出音頻數(shù)據(jù)。對(duì)所述音頻數(shù)據(jù)進(jìn)行分離處理，以將所述音頻數(shù)據(jù)中的人聲配音和背景音進(jìn)行分離，得到所述人聲配音數(shù)據(jù)。

在另一實(shí)施例中，所述基于預(yù)先訓(xùn)練得到的類型識(shí)別模型，確定所述人聲配音數(shù)據(jù)中的人聲配音的配音類型，包括：如果所述人聲配音數(shù)據(jù)的時(shí)長(zhǎng)大于指定時(shí)長(zhǎng)，則將人聲配音數(shù)據(jù)切分為N個(gè)人聲配音片段，N個(gè)所述人聲配音片段的時(shí)長(zhǎng)相同；其中，N為自然數(shù)，且N大于1。分別對(duì)N個(gè)所述人聲配音片段進(jìn)行梅爾頻譜特征提取，得到N個(gè)人聲配音片段的梅爾頻譜特征。將N個(gè)人聲配音片段的梅爾頻譜特征分別輸入至所述類型識(shí)別模型，得到每個(gè)所述人聲配音片段所對(duì)應(yīng)的配音類型。基于N個(gè)人聲配音片段的配音類型，確定所述人聲配音數(shù)據(jù)對(duì)應(yīng)的配音類型。

在又一實(shí)施例中，所述基于N個(gè)人聲配音片段的配音類型，確定所述人聲配音數(shù)據(jù)對(duì)應(yīng)的配音類型，包括：若N個(gè)所述人聲配音片段的配音類型中包括的配音類型為真實(shí)人聲的總置信度評(píng)分大于配音類型為模擬人聲的總置信度評(píng)分，則確定所述人聲配音數(shù)據(jù)對(duì)應(yīng)的配音類型為真實(shí)人聲。若N個(gè)所述人聲配音片段的配音類型中包括的配音類型為真實(shí)人聲的總置信度評(píng)分小于配音類型為模擬人聲的總置信度評(píng)分，則確定所述人聲配音數(shù)據(jù)對(duì)應(yīng)的配音類型為模擬人聲。

根據(jù)本公開(kāi)實(shí)施例的第二方面，提供一種類型識(shí)別模型的訓(xùn)練方法，包括：獲取人聲樣本集，所述人聲樣本集包括真實(shí)人聲樣本集和模擬人聲樣本集，所述真實(shí)人聲樣本集包括多個(gè)真實(shí)人聲樣本，所述模擬人聲樣本集包括多個(gè)模擬人聲樣本，每個(gè)所述真實(shí)人聲樣本均包括一個(gè)真實(shí)人聲配音特征數(shù)據(jù)和真實(shí)人聲類型標(biāo)簽；每個(gè)所述模擬人聲樣本均包括一個(gè)模擬人聲配音特征數(shù)據(jù)和模擬人聲類型標(biāo)簽。基于多個(gè)所述人聲樣本，通過(guò)機(jī)器學(xué)習(xí)進(jìn)行訓(xùn)練，得到類型識(shí)別模型，所述類型識(shí)別模型用于識(shí)別人聲配音的配音類型，所述配音類型包括真實(shí)人聲和模擬人聲。