[發明專利]基于語音識別的影視內容字幕生成方法、系統及設備

在審

• 申請號: 202011099384.9
• 申請日: 2020-10-14
• 公開（公告）號: CN112233661A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 孫仁財
• 申請（專利權）人: 廣州歡網科技有限責任公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/18;G10L15/26;G06F40/30
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 牛晴

1.一種基于語音識別的影視內容字幕生成方法，其特征在于，包括：

接收影視內容相關音頻文件，所述影視內容相關音頻文件包括純音頻文件和成品視頻源文件；

基于預先構建的角色特征音頻計算模型，對所述純音頻文件和所述成品視頻源文件進行角色識別，確定不同角色形象；

按照不同的所述角色形象對所述影視內容相關音頻文件進行解析和語音識別，生成每個角色形象對應的臺詞集；

確定不同的所述臺詞集中不同臺詞的語義相關度，根據所述語義相關度劃分不同的所述臺詞集中的臺詞為不同臺詞應用場景；

按照時間軸串聯所述不同臺詞應用場景中的對應臺詞，進行臺詞拼接，以進行字幕編輯。

2.根據權利要求1所述的基于語音識別的影視內容字幕生成方法，其特征在于，在所述接收影視內容相關音頻文件之前，還包括：

根據音色、語調、節奏、發音和語種構建角色特征音頻計算模型。

3.根據權利要求1所述的基于語音識別的影視內容字幕生成方法，其特征在于，所述確定不同的所述臺詞集中不同臺詞的語義相關度，包括：

通過語義識別算法對不同的所述臺詞集中不同臺詞進行關聯度計算，得到不同臺詞的語義相關度。

4.根據權利要求3所述的基于語音識別的影視內容字幕生成方法，其特征在于，所述根據所述語義相關度劃分不同的所述臺詞集中的臺詞為不同臺詞應用場景，包括：

根據所述語義相關度，確定不同臺詞間的連貫程度；

根據所述連貫程度，劃分為不同臺詞應用場景。

5.根據權利要求4所述的基于語音識別的影視內容字幕生成方法，其特征在于，所述劃分為不同臺詞應用場景之后，還包括：

按照所述語義相關度、所述連貫程度和臺詞應用場景，對每個所述臺詞應用場景對應的臺詞進行校準。

6.根據權利要求4所述的基于語音識別的影視內容字幕生成方法，其特征在于，所述劃分為不同臺詞應用場景之后，還包括：

標記每個所述臺詞應用場景對應的時間戳節點。

7.根據權利要求6所述的基于語音識別的影視內容字幕生成方法，其特征在于，所述按照時間軸串聯所述不同臺詞應用場景中的對應臺詞，進行臺詞拼接之前，還包括：

識別每個所述臺詞應用場景的時間戳節點；

按照時間先后順序，對所述時間戳節點排序，得到所有臺詞應用場景的時間軸。

8.根據權利要求1所述的基于語音識別的影視內容字幕生成方法，其特征在于，所述生成每個角色形象對應的臺詞集之后，還包括：

獲取目標語種類別需求；

根據所述目標語種類別需求，將所述臺詞集轉化為對應的語種臺詞。

9.一種基于語音識別的影視內容字幕生成系統，其特征在于，包括：

文件接收模塊，用于接收影視內容相關音頻文件，所述影視內容相關音頻文件包括純音頻文件和成品視頻源文件；

角色識別模塊，用于基于預先構建的角色特征音頻計算模型，對所述純音頻文件和所述成品視頻源文件進行角色識別，確定不同角色形象；

臺詞生成模塊，用于按照不同的所述角色形象對所述影視內容相關音頻文件進行解析和語音識別，生成每個角色形象對應的臺詞集；

場景劃分模塊，用于確定不同的所述臺詞集中不同臺詞的語義相關度，根據所述語義相關度劃分不同的所述臺詞集中的臺詞為不同臺詞應用場景；

臺詞拼接模塊，用于按照時間軸串聯所述不同臺詞應用場景中的對應臺詞，進行臺詞拼接，以進行字幕編輯。

10.一種基于語音識別的影視內容字幕生成設備，其特征在于，包括：處理器，以及與所述處理器相連接的存儲器；

所述存儲器用于存儲計算機程序，所述計算機程序至少用于執行權利要求1-8任一項所述的基于語音識別的影視內容字幕生成方法；

所述處理器用于調用并執行所述存儲器中的所述計算機程序。