[發(fā)明專利]訓(xùn)練音頻語(yǔ)種識(shí)別模型的方法、視頻檢測(cè)方法及其裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110470368.4
• 申請(qǐng)日: 2021-04-28
• 公開（公告）號(hào): CN113076932B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 謝強(qiáng);鄧天生;于天寶;贠挺;陳國(guó)慶;林賽群
• 申請(qǐng)（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)(北京)有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V20/30;G06V10/82;G06N3/0464;G06N3/08;G10L15/00;G10L15/06
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 趙林琳;張昊

本公開公開了訓(xùn)練音頻語(yǔ)種識(shí)別模型的方法、視頻檢測(cè)方法及其裝置，涉及人工智能領(lǐng)域，尤其涉及深度學(xué)習(xí)領(lǐng)域。具體實(shí)現(xiàn)方案為：從人聲音頻文件中獲取多個(gè)音頻片段；基于多個(gè)音頻片段中包含非目標(biāo)語(yǔ)種語(yǔ)音的音頻片段，確定用于訓(xùn)練音頻語(yǔ)種識(shí)別模型的第一樣本數(shù)據(jù)集；基于多個(gè)音頻片段中包含目標(biāo)語(yǔ)種語(yǔ)音的音頻片段，確定用于訓(xùn)練音頻語(yǔ)種識(shí)別模型的第二樣本數(shù)據(jù)集；以及基于第一樣本數(shù)據(jù)集和第二樣本數(shù)據(jù)集，訓(xùn)練音頻語(yǔ)種識(shí)別模型。以此方式，本公開的技術(shù)方案可以快速高效且低成本地完成對(duì)音頻語(yǔ)種識(shí)別模型的訓(xùn)練，從而準(zhǔn)確確定待測(cè)視頻文件的檢測(cè)結(jié)果。

技術(shù)領(lǐng)域

本公開涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及深度學(xué)習(xí)領(lǐng)域，具體地，涉及訓(xùn)練音頻語(yǔ)種識(shí)別模型的方法、視頻檢測(cè)方法、及其裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)

隨著人民群眾的生活水平提升和科技的進(jìn)步，人們獲取信息和休閑娛樂(lè)的方式逐漸發(fā)生變化，視頻因其內(nèi)容豐富、信息密度高、趣味性強(qiáng)等特點(diǎn)迅速占據(jù)了人們的生活中的碎片時(shí)間。在搜索、推薦類的相關(guān)產(chǎn)品中，視頻是用戶較為喜歡的新的內(nèi)容呈現(xiàn)方式。部分視頻中的對(duì)話語(yǔ)言是外語(yǔ)且沒(méi)有中文字幕，導(dǎo)致大部分用戶很難理解視頻內(nèi)容。這樣就對(duì)用戶的信息獲取造成了障礙，減低了產(chǎn)品的用戶體驗(yàn)。

發(fā)明內(nèi)容

本公開提供了一種訓(xùn)練音頻語(yǔ)種識(shí)別模型的方法、視頻檢測(cè)方法、及其裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

根據(jù)本公開的第一方面，提供了一種訓(xùn)練音頻語(yǔ)種識(shí)別模型的方法。該方法可以包括從人聲音頻文件中獲取多個(gè)音頻片段。進(jìn)而，可以基于多個(gè)音頻片段中包含非目標(biāo)語(yǔ)種語(yǔ)音的音頻片段，確定用于訓(xùn)練音頻語(yǔ)種識(shí)別模型的第一樣本數(shù)據(jù)集。該方法還可以包括基于多個(gè)音頻片段中包含目標(biāo)語(yǔ)種語(yǔ)音的音頻片段，確定用于訓(xùn)練音頻語(yǔ)種識(shí)別模型的第二樣本數(shù)據(jù)集。此外，該方法可以進(jìn)一步包括基于第一樣本數(shù)據(jù)集和第二樣本數(shù)據(jù)集，訓(xùn)練音頻語(yǔ)種識(shí)別模型。

根據(jù)本公開的第二方面，提供了一種視頻檢測(cè)方法，該方法可以包括從待檢測(cè)的視頻文件中獲取音頻文件和多個(gè)圖像。進(jìn)而，可以從音頻文件中獲取多個(gè)人聲音頻片段。該方法可以進(jìn)一步包括對(duì)多個(gè)人聲音頻片段進(jìn)行語(yǔ)種識(shí)別，并且對(duì)多個(gè)圖像進(jìn)行字幕語(yǔ)種檢測(cè)。此外，該方法還可以包括如果多個(gè)人聲音頻片段被確定為包含非目標(biāo)語(yǔ)種語(yǔ)音并且多個(gè)圖像被確定為不包含目標(biāo)語(yǔ)種字幕，確定待檢測(cè)的視頻文件的檢測(cè)結(jié)果。

在本公開的第三方面中，提供了一種訓(xùn)練音頻語(yǔ)種識(shí)別模型的裝置，包括：音頻片段獲取模塊，被配置為從人聲音頻文件中獲取多個(gè)音頻片段；第一樣本數(shù)據(jù)集確定模塊，被配置為基于多個(gè)音頻片段中包含非目標(biāo)語(yǔ)種語(yǔ)音的音頻片段，確定用于訓(xùn)練音頻語(yǔ)種識(shí)別模型的第一樣本數(shù)據(jù)集；第二樣本數(shù)據(jù)集確定模塊，被配置為基于多個(gè)音頻片段中包含目標(biāo)語(yǔ)種語(yǔ)音的音頻片段，確定用于訓(xùn)練音頻語(yǔ)種識(shí)別模型的第二樣本數(shù)據(jù)集；以及音頻語(yǔ)種識(shí)別模型訓(xùn)練模塊，被配置為基于第一樣本數(shù)據(jù)集和第二樣本數(shù)據(jù)集，訓(xùn)練音頻語(yǔ)種識(shí)別模型。

在本公開的第四方面中，提供了一種視頻檢測(cè)裝置，包括：解析模塊，被配置為從待檢測(cè)的視頻文件中獲取音頻文件和多個(gè)圖像；人聲音頻片段獲取模塊，被配置為從音頻文件中獲取多個(gè)人聲音頻片段；人聲語(yǔ)種識(shí)別模塊，被配置為對(duì)多個(gè)人聲音頻片段進(jìn)行語(yǔ)種識(shí)別；字幕語(yǔ)種檢測(cè)模塊，被配置為對(duì)多個(gè)圖像進(jìn)行字幕語(yǔ)種檢測(cè)；以及后處理模塊，被配置為如果多個(gè)人聲音頻片段被確定為包含非目標(biāo)語(yǔ)種語(yǔ)音并且多個(gè)圖像被確定為不包含目標(biāo)語(yǔ)種字幕，確定待檢測(cè)的視頻文件的檢測(cè)結(jié)果。

在本公開的第五方面中，提供了一種電子設(shè)備，包括一個(gè)或多個(gè)處理器；以及存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或多個(gè)程序，當(dāng)一個(gè)或多個(gè)程序被一個(gè)或多個(gè)處理器執(zhí)行，使得一個(gè)或多個(gè)處理器實(shí)現(xiàn)根據(jù)本公開的第一方面的方法。

在本公開的第六方面中，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)本公開的第一方面的方法。

在本公開的第七方面中，提供了一種計(jì)算機(jī)程序產(chǎn)品，計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)本公開的第一方面的方法。