[發(fā)明專利]一種視頻字幕生成方法、系統(tǒng)、裝置和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911000368.7
• 申請(qǐng)日: 2019-10-21
• 公開（公告）號(hào): CN110933485A
• 公開（公告）日: 2020-03-27
• 發(fā)明（設(shè)計(jì)）人: 張金良
• 申請(qǐng)（專利權(quán)）人: 天脈聚源（杭州）傳媒科技有限公司
• 主分類號(hào): H04N21/439
• 分類號(hào): H04N21/439;H04N21/44;H04N21/4402;H04N21/488;G10L15/26
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 黎揚(yáng)鵬

1.一種視頻字幕生成方法，其特征在于，包括以下步驟：

獲取視頻的畫面數(shù)據(jù)流和聲音數(shù)據(jù)流；

對(duì)所述畫面數(shù)據(jù)流和聲音數(shù)據(jù)流均進(jìn)行相同的分段處理；所述分段處理將所述畫面數(shù)據(jù)流分解成為多個(gè)畫面數(shù)據(jù)段，也將所述聲音數(shù)據(jù)流分解成為多個(gè)聲音數(shù)據(jù)段；

分別對(duì)各所述聲音數(shù)據(jù)段進(jìn)行語(yǔ)音識(shí)別；所述語(yǔ)音識(shí)別分別根據(jù)各所述聲音數(shù)據(jù)段識(shí)別得到相應(yīng)的文本段；

根據(jù)各所述文本段，分別在相應(yīng)的畫面數(shù)據(jù)段生成同步的字幕。

2.根據(jù)權(quán)利要求1所述的一種視頻字幕生成方法，其特征在于，所述獲取視頻的畫面數(shù)據(jù)流和聲音數(shù)據(jù)流這一步驟，具體包括：

緩存一段時(shí)間的視頻信號(hào)；

將所緩存的所述視頻信號(hào)分離為所述畫面數(shù)據(jù)流和聲音數(shù)據(jù)流。

3.根據(jù)權(quán)利要求1所述的一種視頻字幕生成方法，其特征在于，所述對(duì)所述畫面數(shù)據(jù)流和聲音數(shù)據(jù)流均進(jìn)行相同的分段處理這一步驟，具體包括：

確定分段長(zhǎng)度；

將所述聲音數(shù)據(jù)流分解為多個(gè)時(shí)長(zhǎng)均等于所述分段長(zhǎng)度的聲音數(shù)據(jù)段；

將所述畫面數(shù)據(jù)流分解為多個(gè)時(shí)長(zhǎng)均等于所述分段長(zhǎng)度的畫面數(shù)據(jù)段。

4.根據(jù)權(quán)利要求1所述的一種視頻字幕生成方法，其特征在于，所述對(duì)所述畫面數(shù)據(jù)流和聲音數(shù)據(jù)流均進(jìn)行相同的分段處理這一步驟，具體包括：

對(duì)所述聲音數(shù)據(jù)流進(jìn)行去噪處理；所述去噪處理用于去除聲音數(shù)據(jù)流中攜帶的噪音和環(huán)境音；

對(duì)經(jīng)過去噪處理的所述聲音數(shù)據(jù)流進(jìn)行時(shí)域分析，獲取所述時(shí)域分析輸出的時(shí)域波形圖；

對(duì)所述時(shí)域波形圖上持續(xù)時(shí)間超過預(yù)設(shè)閾值的零值點(diǎn)進(jìn)行檢測(cè)；

將所檢測(cè)到的相鄰各零值點(diǎn)之間的時(shí)間間隔確定為分段長(zhǎng)度；

按照所確定的各所述分段長(zhǎng)度，將所述聲音數(shù)據(jù)流分解為多個(gè)具有相應(yīng)時(shí)長(zhǎng)的的聲音數(shù)據(jù)段，將所述畫面數(shù)據(jù)流分解為多個(gè)具有相應(yīng)時(shí)長(zhǎng)的的畫面數(shù)據(jù)段。

5.根據(jù)權(quán)利要求1所述的一種視頻字幕生成方法，其特征在于，所述對(duì)所述畫面數(shù)據(jù)流和聲音數(shù)據(jù)流均進(jìn)行相同的分段處理這一步驟，具體包括：

對(duì)所述聲音數(shù)據(jù)流進(jìn)行去噪處理；所述去噪處理用于去除聲音數(shù)據(jù)流中攜帶的噪音和環(huán)境音；

對(duì)經(jīng)過去噪處理的所述聲音數(shù)據(jù)流進(jìn)行頻域分析，獲取所述頻域分析輸出的頻譜圖；

從所述頻譜圖識(shí)別出所述聲音數(shù)據(jù)流中對(duì)應(yīng)最大能量的聲音頻率；

根據(jù)所識(shí)別出的所述聲音頻率計(jì)算單位發(fā)音長(zhǎng)度；所述單位發(fā)音長(zhǎng)度為所述聲音頻率的倒數(shù)；

根據(jù)所述單位發(fā)音長(zhǎng)度的整數(shù)倍確定分段長(zhǎng)度；

按照所確定的各所述分段長(zhǎng)度，將所述聲音數(shù)據(jù)流分解為多個(gè)具有相應(yīng)時(shí)長(zhǎng)的的聲音數(shù)據(jù)段，將所述畫面數(shù)據(jù)流分解為多個(gè)具有相應(yīng)時(shí)長(zhǎng)的的畫面數(shù)據(jù)段。

6.根據(jù)權(quán)利要求1所述的一種視頻字幕生成方法，其特征在于，還包括以下步驟：

將生成字幕之后的各所述畫面數(shù)據(jù)段重新合成為畫面數(shù)據(jù)流；

將各所述聲音數(shù)據(jù)段重新合成為聲音數(shù)據(jù)流；

將重新合成所得的畫面數(shù)據(jù)流和聲音數(shù)據(jù)流合成為視頻信號(hào)。

7.根據(jù)權(quán)利要求1所述的一種視頻字幕生成方法，其特征在于，還包括以下步驟：

獲取由各所述文本段依次拼合所成的一個(gè)組合文本；

對(duì)所述組合文本進(jìn)行語(yǔ)義分析；

根據(jù)所述語(yǔ)義分析的結(jié)果，對(duì)各所述文本段中的相應(yīng)字符進(jìn)行修正。

8.一種視頻字幕生成系統(tǒng)，其特征在于，包括：

數(shù)據(jù)流獲取模塊，用于獲取視頻的畫面數(shù)據(jù)流和聲音數(shù)據(jù)流；

數(shù)據(jù)流分段模塊，用于對(duì)所述畫面數(shù)據(jù)流和聲音數(shù)據(jù)流均進(jìn)行相同的分段處理；所述分段處理將所述畫面數(shù)據(jù)流分解成為多個(gè)畫面數(shù)據(jù)段，也將所述聲音數(shù)據(jù)流分解成為多個(gè)聲音數(shù)據(jù)段；

語(yǔ)音識(shí)別模塊，用于分別對(duì)各所述聲音數(shù)據(jù)段進(jìn)行語(yǔ)音識(shí)別；所述語(yǔ)音識(shí)別分別根據(jù)各所述聲音數(shù)據(jù)段識(shí)別得到相應(yīng)的文本段；

字幕生成模塊，用于根據(jù)各所述文本段，分別在相應(yīng)的畫面數(shù)據(jù)段生成同步的字幕。