[發(fā)明專利]音頻內(nèi)容識別方法、裝置、設(shè)備和計算機(jī)可讀介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010829371.6
• 申請日: 2020-08-18
• 公開（公告）號: CN111986655B
• 公開（公告）日: 2022-04-01
• 發(fā)明（設(shè)計）人: 孔亞魯;何怡
• 申請（專利權(quán)）人: 北京字節(jié)跳動網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G10L15/04
• 分類號: G10L15/04;G10L15/26;G10L15/00;H04N21/233;H04N21/2343;H04N21/439;H04N21/4402
• 代理公司: 北京唯智勤實知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11557
• 代理人: 陳佳

1.一種音頻內(nèi)容識別方法，包括：

對音頻進(jìn)行切分，得到語音片段集合和非語音片段集合；

確定所述語音片段集合中的每個語音片段的類型和語種信息，其中，所述語音片段的類型包括：擬聲語音片段、說話語音片段和唱歌語音片段中的至少一項；

對于所述語音片段集合中的每個語音片段，基于所述語音片段的類型和語種信息，對所述語音片段進(jìn)行語音識別，得到第一識別結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述方法還包括：

確定所述非語音片段集合中的每個非語音片段的標(biāo)簽；

對所述第一識別結(jié)果和所述標(biāo)簽進(jìn)行分句，得到第二識別結(jié)果。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述方法還包括：

將所述第二識別結(jié)果中的每個分句添加到目標(biāo)視頻對應(yīng)的視頻幀中，得到帶有字幕的視頻。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述對音頻進(jìn)行切分，得到語音片段集合和非語音片段集合，包括：

將所述音頻輸入到預(yù)先訓(xùn)練好的語音活性檢測模型中，得到所述語音片段集合和所述非語音片段集合。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述確定所述語音片段集合中的每個語音片段的類型和語種信息，包括：

將所述語音片段輸入到預(yù)先訓(xùn)練好的音頻事件檢測模型中，得到所述語音片段的類型；

將所述語音片段輸入到預(yù)先訓(xùn)練好的語種識別模型中，得到所述語音片段的語種信息。

6.根據(jù)權(quán)利要求1所述的方法，其中，所述對于所述語音片段集合中的每個語音片段，基于所述語音片段的類型和語種信息，對所述語音片段進(jìn)行語音識別，得到第一識別結(jié)果，包括：

對于所述語音片段集合中的每個語音片段，基于所述語音片段的類型和語種信息，在預(yù)先設(shè)定的語音識別模型集合中，確定用于識別所述語音片段的語音識別模型；

將所述語音片段輸入到用于識別所述語音片段的語音識別模型中，得到第一識別結(jié)果。

7.根據(jù)權(quán)利要求2所述的方法，其中，所述確定所述非語音片段集合中的每個非語音片段的標(biāo)簽，包括：

將所述非語音片段集合中的每個非語音片段輸入到預(yù)先訓(xùn)練好的聲音事件檢測模型中，得到所述非語音片段的標(biāo)簽。

8.一種音頻內(nèi)容識別裝置，包括：

切分單元，被配置成對音頻進(jìn)行切分，得到語音片段集合和非語音片段集合；

第一確定單元，被配置成確定所述語音片段集合中的每個語音片段的類型和語種信息，其中，所述語音片段的類型包括：擬聲語音片段、說話語音片段和唱歌語音片段中的至少一項；

識別單元，被配置成對于所述語音片段集合中的每個語音片段，基于所述語音片段的類型和語種信息，對所述語音片段進(jìn)行語音識別，得到第一識別結(jié)果。

9.一種電子設(shè)備，包括：

一個或多個處理器；

存儲裝置，其上存儲有一個或多個程序，

當(dāng)所述一個或多個程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現(xiàn)如權(quán)利要求1-7中任一所述的方法。

10.一種計算機(jī)可讀介質(zhì)，其上存儲有計算機(jī)程序，其中，所述程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-7中任一所述的方法。