[發明專利]一種混合語種字幕文件生成方法及裝置

在審

• 申請號: 201710065710.6
• 申請日: 2017-02-06
• 公開（公告）號: CN106878805A
• 公開（公告）日: 2017-06-20
• 發明（設計）人: 王金龍
• 申請（專利權）人: 廣東小天才科技有限公司
• 主分類號: H04N21/439
• 分類號: H04N21/439;H04N21/488;H04N21/81
• 代理公司: 深圳青年人專利商標代理有限公司44350
• 代理人: 吳桂華

1.一種混合語種字幕文件生成方法，其特征在于，所述方法包括下述步驟：

接收用戶輸入的音視頻文件，提取所述音視頻文件中的音頻；

將所述音頻分割為多個音頻段，并存儲每個音頻段對應的時間信息；

對所述多個音頻段進行語種識別，獲取所述音頻段對應的語種類別；

根據所述語種類別，對所述多個音頻段進行語音識別，并獲取所述音頻段語音識別后的文本內容；

根據所述音頻段的時間信息和文本內容，生成混合語種的字幕文本。

2.如權利要求1所述的方法，其特征在于，將所述音頻分割為多個音頻段，并存儲每個音頻段對應的時間信息的步驟，包括：

根據所述音頻的語音停頓，對所述音頻進行初步分割；

根據預設的顯示屏幕寬度，對所述初步分割后的音頻進行再次分割和合并，獲得所述多個音頻段，并存儲每個音頻段對應的時間信息。

3.如權利要求1所述的方法，其特征在于，對所述多個音頻段進行語種識別，獲取所述音頻段對應的語種類別的步驟，包括：

根據預設的多語種識別模型或識別庫，提取所述音頻段的特征；

在所述多語種識別模型或識別庫中，對所述特征進行匹配，并根據匹配結果確定所述音頻段的語種類別。

4.如權利要求1所述的方法，其特征在于，對所述多個音頻段進行語音識別，并獲取所述音頻段語音識別后的文本內容的步驟，包括：

獲取所述音頻段的語種類別，并調用所述語種類別對應的語音識別系統，對所述音頻段進行語音識別，以獲取所述音頻段的文本內容。

5.如權利要求1所述的方法，其特征在于，根據所述語種，根據所述音頻段的時間信息和文本內容，生成混合語種的字幕文本的步驟，包括：

根據所述音頻段的時間信息，生成所述文本內容的時間軸；

根據所述文本內容和所述文本內容的時間軸，生成所述混合語種的字幕文件。

6.一種混合語種字幕文件的生成裝置，其特征在于，所述裝置包括：

音頻提取模塊，用于接收用戶輸入的音視頻文件，提取所述音視頻文件中的音頻；

音頻分割模塊，用于將所述音頻分割為多個音頻段，并存儲每個音頻段對應的時間信息；

語種識別模塊，用于對所述多個音頻段進行語種識別，獲取所述音頻段對應的語種類別；

語音識別模塊，用于根據所述語種類別，對所述多個音頻段進行語音識別，并獲取所述音頻段語音識別后的文本內容；以及

字幕生成模塊，用于根據所述音頻段的時間信息和文本內容，生成混合語種的字幕文本。

7.如權利要求6所述的裝置，其特征在于，所述音頻分割模塊包括：

初步分割模塊，用于根據所述音頻的語音停頓，對所述音頻進行初步分割；以及

分割合并模塊，用于根據預設的顯示屏幕寬度，對所述初步分割后的音頻進行再次分割和合并，獲得所述多個音頻段，并存儲每個音頻段對應的時間信息。

8.如權利要求6所述的裝置，其特征在于，所述語種識別模塊包括：

特征提取模塊，用于根據預設的多語種識別模型或識別庫，提取所述音頻段的特征；以及

語種確定模塊，用于在所述多語種識別模型或識別庫中，對所述特征進行匹配，并根據匹配結果確定所述音頻段的語種類別。

9.如權利要求6所述的裝置，其特征在于，所述語音識別模塊包括：

語音識別子模塊，用于獲取所述音頻段的語種類別，并調用所述語種類別對應的語音識別系統，對所述音頻段進行語音識別，以獲取所述音頻段的文本內容。

10.如權利要求6所述的裝置，其特征在于，所述字幕生成模塊包括：

時間軸生成模塊，用于根據所述音頻段的時間信息，生成所述文本內容的時間軸；以及

字幕生成子模塊，用于根據所述文本內容和所述文本內容的時間軸，生成所述混合語種的字幕文件。