[發(fā)明專利]一種多媒體內(nèi)容字幕生成方法、設(shè)備以及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011634984.0
• 申請日: 2020-12-31
• 公開（公告）號: CN112929758A
• 公開（公告）日: 2021-06-08
• 發(fā)明（設(shè)計）人: 鄧嘉俊;羅益峰
• 申請（專利權(quán)）人: 廣州朗國電子科技有限公司
• 主分類號: H04N21/488
• 分類號: H04N21/488;H04N21/4402;H04N21/435;H04N21/43;H04N21/8547;G10L15/26;G10L25/87
• 代理公司: 廣州市越秀區(qū)哲力專利商標(biāo)事務(wù)所(普通合伙) 44288
• 代理人: 楊莉莎

1.一種多媒體內(nèi)容字幕生成方法，其特征在于，所述多媒體內(nèi)容字幕生成方法包括以下步驟：

步驟S10：在可視化編輯器調(diào)整配置元素以制作出組合多媒體播放內(nèi)容，其內(nèi)容至少包括字幕生成服務(wù)、音頻流采集服務(wù)、文字識別服務(wù)；

步驟S20：獲取字幕生成的觸發(fā)指令，調(diào)用字幕生成服務(wù)；

步驟S30：調(diào)用音頻流采集服務(wù)，以采集并傳入音頻流至文字識別服務(wù)；

步驟S40：文字識別服務(wù)將音頻流中音頻信息轉(zhuǎn)化為字幕文件并將之返回字幕生成服務(wù)；

步驟S50：字幕生成服務(wù)將字幕文件轉(zhuǎn)化為字幕元素返回可視化編輯器生成字幕。

2.如權(quán)利要求1所述的多媒體內(nèi)容字幕生成方法，其特征在于，所述多媒體內(nèi)容字幕生成方法還包括：

步驟S60：接收多媒體用戶制作者的字幕屬性設(shè)置指令，根據(jù)字幕屬性設(shè)置指令設(shè)置字幕樣式并調(diào)整字幕字符。

3.如權(quán)利要求2所述的多媒體內(nèi)容字幕生成方法，其特征在于，所述多媒體內(nèi)容字幕生成方法還包括：

步驟S70：接收保存指令將所述組合多媒體播放內(nèi)容保存到組合做媒體內(nèi)容庫；

步驟S80：將所述組合多媒體播放內(nèi)容發(fā)送至軟件以使軟件播放所述組合多媒體播放內(nèi)容。

4.如權(quán)利要求1所述的多媒體內(nèi)容字幕生成方法，其特征在于，所述調(diào)用音頻流采集服務(wù)，以采集并傳入音頻流至文字識別服務(wù)的步驟，具體包括：

步驟S31：字幕生成服務(wù)接收音頻采集服務(wù)發(fā)送的音頻流；

步驟S32：字幕生成服務(wù)將所述音頻流發(fā)送給文字識別服務(wù)。

5.如權(quán)利要求1所述的多媒體內(nèi)容字幕生成方法，其特征在于，所述文字識別服務(wù)將音頻流中音頻信息轉(zhuǎn)化為字幕文件并將之返回字幕生成服務(wù)的步驟，具體包括：

步驟S41：對所述音頻流進行預(yù)處理；

步驟S42：對經(jīng)過預(yù)處理的音頻流進行端點檢測以生成有效音頻流；其中，所述有效音頻流包含有連續(xù)語音的音頻；

步驟S43：對有效音頻流進行識別以生成與所述有效音頻流對應(yīng)的詞條；

步驟S44：將所述詞條和與所述詞條對應(yīng)的有效音頻流出現(xiàn)的時間信息組合形成字幕文件。

6.如權(quán)利要求5所述的多媒體內(nèi)容字幕生成方法，其特征在于，對所述音頻流進行預(yù)處理的步驟，具體包括：

步驟S411：對所述音頻流進行預(yù)濾波處理以獲得對高頻部分進行提升的音頻流；

步驟S412：對進行預(yù)濾波處理后的音頻流在進行預(yù)加重處理以獲得具有高頻分辨率的預(yù)濾波處理后的音頻流；

步驟S413：對所述具有高頻分辨率的預(yù)濾波處理后的音頻流進行采樣生成模擬量值；

步驟S414：對所述模擬量值進行量化，分為多個區(qū)段，并根據(jù)所述多個區(qū)段對每一模擬量值進行歸類，且生成量化值；

步驟S415：對所述模擬量值進行加窗。

7.如權(quán)利要求5所述的多媒體內(nèi)容字幕生成方法，其特征在于，所述對經(jīng)過預(yù)處理的音頻流進行端點檢測以生成有效音頻流的步驟，具體包括：

步驟S421：根據(jù)預(yù)設(shè)閾值與所述模擬量值的對比，找出最開始大于預(yù)設(shè)閾值的模擬量值并確定為端點；

步驟S422：通過若干個端點確定音頻流的起始點和結(jié)束點，形成有效的音頻流。

8.如權(quán)利要求5所述的多媒體內(nèi)容字幕生成方法，其特征在于，所述對有效音頻流進行識別以生成與所述有效音頻流對應(yīng)的詞條的步驟，具體包括：

步驟S431：對有效音頻流進行特征提取生成提取結(jié)果；其中，所述提取結(jié)果包括特征參數(shù)、基音檢測以及共振峰；

步驟S432：對有效音頻流進行訓(xùn)練以形成測試模板；

步驟S433：對所述提取結(jié)果進行識別，選取匹配分數(shù)最高的參考模板詞條作為識別結(jié)果。