[發(fā)明專利]基于語音識別的影視內(nèi)容字幕生成方法、系統(tǒng)及設(shè)備

在審

• 申請?zhí)枺?/td>: 202011099384.9
• 申請日: 2020-10-14
• 公開（公告）號: CN112233661A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計）人: 孫仁財
• 申請（專利權(quán)）人: 廣州歡網(wǎng)科技有限責(zé)任公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/18;G10L15/26;G06F40/30
• 代理公司: 北京細(xì)軟智谷知識產(chǎn)權(quán)代理有限責(zé)任公司 11471
• 代理人: 牛晴

本發(fā)明涉及一種基于語音識別的影視內(nèi)容字幕生成方法、系統(tǒng)及設(shè)備，其方法包括，接收影視內(nèi)容相關(guān)音頻文件，影視內(nèi)容相關(guān)音頻文件包括純音頻文件和成品視頻源文件；基于預(yù)先構(gòu)建的角色特征音頻計算模型，對純音頻文件和成品視頻源文件進(jìn)行角色識別，確定不同角色形象；按照不同的角色形象對影視內(nèi)容相關(guān)音頻文件進(jìn)行解析和語音識別，生成每個角色形象對應(yīng)的臺詞集；確定不同的臺詞集中不同臺詞的語義相關(guān)度，根據(jù)語義相關(guān)度劃分不同的臺詞集中的臺詞為不同臺詞應(yīng)用場景；按照時間軸串聯(lián)不同臺詞應(yīng)用場景中的對應(yīng)臺詞，進(jìn)行臺詞拼接，以進(jìn)行字幕編輯，通過語音識別自動生成臺詞的方式，有效地提高了字幕編輯的效率。

技術(shù)領(lǐng)域

本發(fā)明屬于字幕編輯技術(shù)領(lǐng)域，具體涉及一種基于語音識別的影視內(nèi)容字幕生成方法、系統(tǒng)及設(shè)備。

背景技術(shù)

現(xiàn)階段電視機(jī)用戶看到的影視視頻內(nèi)容可涵蓋不同類型、不同國家、不同語言，影視業(yè)務(wù)內(nèi)容投放也具備大量的節(jié)目資源對于運營工作來講具有不小的工作體量。用戶在瀏覽不同國家、不同地區(qū)的語種節(jié)目需要借助對應(yīng)字幕、臺詞來輔助理解影視節(jié)目所表達(dá)的意圖。目前，大多數(shù)的影視節(jié)目字幕一般為后期人工編輯校準(zhǔn)，根據(jù)演員劇本等具備臺詞的電影、電視劇進(jìn)行字幕編輯，但老電影、無劇本等類型無指臺詞的節(jié)目也需要人工編輯字幕，這就造成了字幕編輯工作嚴(yán)重依賴劇本臺詞、人工編輯的工作模式。

但是，人工編輯的方式，對人工量要求較大，且容易出錯，導(dǎo)致字幕編輯的效率相對較低。

發(fā)明內(nèi)容

為了至少解決現(xiàn)有技術(shù)存在的上述問題，本發(fā)明提供了一種基于語音識別的影視內(nèi)容字幕生成方法、系統(tǒng)及設(shè)備，以提高字幕編輯的效率。

本發(fā)明提供的技術(shù)方案如下：

一方面，一種基于語音識別的影視內(nèi)容字幕生成方法，包括：

接收影視內(nèi)容相關(guān)音頻文件，所述影視內(nèi)容相關(guān)音頻文件包括純音頻文件和成品視頻源文件；

基于預(yù)先構(gòu)建的角色特征音頻計算模型，對所述純音頻文件和所述成品視頻源文件進(jìn)行角色識別，確定不同角色形象；

按照不同的所述角色形象對所述影視內(nèi)容相關(guān)音頻文件進(jìn)行解析和語音識別，生成每個角色形象對應(yīng)的臺詞集；

確定不同的所述臺詞集中不同臺詞的語義相關(guān)度，根據(jù)所述語義相關(guān)度劃分不同的所述臺詞集中的臺詞為不同臺詞應(yīng)用場景；

按照時間軸串聯(lián)所述不同臺詞應(yīng)用場景中的對應(yīng)臺詞，進(jìn)行臺詞拼接，以進(jìn)行字幕編輯。

可選的，上述在所述接收影視內(nèi)容相關(guān)音頻文件之前，還包括：

根據(jù)音色、語調(diào)、節(jié)奏、發(fā)音和語種構(gòu)建角色特征音頻計算模型。

可選的，上述所述確定不同的所述臺詞集中不同臺詞的語義相關(guān)度，包括：

通過語義識別算法對不同的所述臺詞集中不同臺詞進(jìn)行關(guān)聯(lián)度計算，得到不同臺詞的語義相關(guān)度。

可選的，上述所述根據(jù)所述語義相關(guān)度劃分不同的所述臺詞集中的臺詞為不同臺詞應(yīng)用場景，包括：

根據(jù)所述語義相關(guān)度，確定不同臺詞間的連貫程度；

根據(jù)所述連貫程度，劃分為不同臺詞應(yīng)用場景。

可選的，上述所述劃分為不同臺詞應(yīng)用場景之后，還包括：

按照所述語義相關(guān)度、所述連貫程度和臺詞應(yīng)用場景，對每個所述臺詞應(yīng)用場景對應(yīng)的臺詞進(jìn)行校準(zhǔn)。

可選的，上述所述劃分為不同臺詞應(yīng)用場景之后，還包括：

標(biāo)記每個所述臺詞應(yīng)用場景對應(yīng)的時間戳節(jié)點。

可選的，上述所述按照時間軸串聯(lián)所述不同臺詞應(yīng)用場景中的對應(yīng)臺詞，進(jìn)行臺詞拼接之前，還包括：