[發明專利]一種電視劇音頻分割方法和裝置以及設備

在審

• 申請號: 202010084690.9
• 申請日: 2020-02-10
• 公開（公告）號: CN111276129A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 陳劍超;肖龍源;李稀敏;蔡振華;劉曉葳
• 申請（專利權）人: 廈門快商通科技股份有限公司
• 主分類號: G10L15/04
• 分類號: G10L15/04;G10L15/06;G10L15/14
• 代理公司: 廈門原創專利事務所(普通合伙) 35101
• 代理人: 高巍

1.一種電視劇音頻分割方法，其特征在于，包括：

采用基線系統對電視劇音頻進行原始分割，得到原始分割結果；

采用半監督自動語音識別方式，對所述原始分割結果中的每段音頻進行自動語音識別，得到語音識別編碼結果；

采用動態規劃方式，對所述語音識別編碼結果和關聯所述電視劇音頻的原始標注文本進行對齊和比較，計算兩者之間的詞匹配率；

根據所述詞匹配率，對所述原始分割結果中的每段音頻進行重分割；

根據所述進行重分割后的每段音頻，對聲學模型進行更新；

根據所述更新的聲學模型，將所述電視劇音頻的語音段與對應文本標注對齊。

2.如權利要求1所述的電視劇音頻分割方法，其特征在于，所述采用基線系統對電視劇音頻進行原始分割，得到原始分割結果，包括：

采用基線系統對電視劇音頻提取感知線性預測系數和梅爾頻率倒譜系數，根據所述感知線性預測系數和所述梅爾頻率倒譜系數，使用已訓練好的純語音、音樂和背景噪聲高斯混合模型分類器將電視劇音頻分割成純語音、純音樂、純背景噪聲、帶噪語音和帶音樂語音的方式，對電視劇音頻進行原始分割，得到原始分割結果。

3.如權利要求1所述的電視劇音頻分割方法，其特征在于，所述采用半監督自動語音識別方式，對所述原始分割結果中的每段音頻進行自動語音識別，得到語音識別編碼結果，包括：

將與所述電視劇音頻的關聯的標注文本用來構建集內語文模型，并與采用集外文本數據訓練的通用背景語言模型進行插值得到一個有偏的語言模型用于語音識別，根據所述有偏的語言模型，采用半監督自動語音識別方式，對所述原始分割結果中的每段音頻進行自動語音識別，得到語音識別編碼結果。

4.如權利要求1所述的電視劇音頻分割方法，其特征在于，

所述根據所述詞匹配率，對所述原始分割結果中的每段音頻進行重分割，包括：

根據所述詞匹配率，對所述原始分割結果中的任意音頻分段所述原始分割結果的語言標簽進行比較，若其對應的詞匹配率不大于該語言標簽時，則認為所述段音頻的原始分割正確，將其從所述原始分割結果中移出放入新集合中，所述集合標記為保留段音頻集合；

和對于所述原始分割結果中剩余的分割段音頻，比較各段音頻的語音識別編碼結果和采用顯示接口對齊的原始文本標注，若兩者在預設音頻段起始和結束邊界處相同且在所述音頻分割段中間出現單詞不同的持續時間小于預設時間，則將其從所述原始分割結果中移出放入所述保留段音頻集合中；

和對于所述原始分割結果中剩余的分割段音頻經移出放入所述保留段音頻集合后的剩余音頻段，按音頻段起始時間從小到大排列，比較所有音頻段分段的語音識別編碼結果和采用顯示接口對齊的原始文本標注，若兩者在時間上連續的分段起始、或結束邊界處相同，或連續相同的詞序列之間的時間間隔不大于預設時間，則將所述原始分割段從所述原始分割結果中移出合并成新的分段放入所述保留段音頻集合中；

和將經上述處理后所述原始分割結果中的剩余音頻段，從音頻段起始時間最小的分割段開始，以當前段起始邊界為起點，下一個滿足以上述情況中任意情況的起始邊界為結束點之間的所有所述原始分割結果合并成一個新段；若所述顯示接口對齊時存在于所述新段對齊的原始文本標注，則將其放入所述保留段音頻集合中，否則認為其為非語音，直接舍棄；

和對所述保留段音頻集合中所有分割音頻段，用原始文本標注進行強制對齊，并根據對齊結果中連續靜音幀長度情況對段邊界作調整以保證各段長度不大于預設長度且各段邊界處靜音長度位于預設區間內。

5.如權利要求1所述的電視劇音頻分割方法，其特征在于，所述根據所述進行重分割后的每段音頻，對聲學模型進行更新，包括：

從所述經強制對齊后的分割音頻段中篩選出詞匹配率不小于所述語言標簽的音頻段，和將所述篩選出的音頻段添加到所述訓練語料中，對聲學模型進行更新。