[發(fā)明專利]一種音視頻數(shù)據(jù)處理方法和裝置及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010929123.9
• 申請(qǐng)日: 2020-09-07
• 公開(kāi)（公告）號(hào): CN112183084A
• 公開(kāi)（公告）日: 2021-01-05
• 發(fā)明（設(shè)計(jì)）人: 許開(kāi)拓
• 申請(qǐng)（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): G06F40/284
• 分類號(hào): G06F40/284;G06F40/30;G06F40/211;G06N3/04;G10L15/26
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 郝志國(guó)

本公開(kāi)提供一種音視頻數(shù)據(jù)處理方法和裝置及設(shè)備，該方法包括：接收音視頻數(shù)據(jù)流，提取所述音視頻數(shù)據(jù)流中的語(yǔ)音數(shù)據(jù)，得到包括多個(gè)語(yǔ)義單元的文本序列；將所述多個(gè)語(yǔ)義單元轉(zhuǎn)換為對(duì)應(yīng)的詞向量；利用對(duì)詞庫(kù)中不同語(yǔ)義單元間上下文依賴程度，采用不同預(yù)測(cè)方式，分多級(jí)預(yù)測(cè)各個(gè)詞向量對(duì)該詞向量上下文的依賴程度，其中第一級(jí)的輸入為各詞向量，之后每一級(jí)的輸入為各詞向量及上一級(jí)輸出的預(yù)測(cè)結(jié)果；根據(jù)最后一級(jí)輸出的預(yù)測(cè)結(jié)果，確定需要附加標(biāo)點(diǎn)符號(hào)的詞向量，并在文本序列中對(duì)應(yīng)的語(yǔ)義單元位置附加標(biāo)點(diǎn)符號(hào)。利用本公開(kāi)提供的方法，在音視頻數(shù)據(jù)處理時(shí)，可以并行處理文本中的詞語(yǔ)確定是否斷句，提高顯示語(yǔ)音內(nèi)容的精確度并提高了處理效率。

技術(shù)領(lǐng)域

本公開(kāi)涉及網(wǎng)絡(luò)視頻技術(shù)領(lǐng)域，特別涉及一種音視頻數(shù)據(jù)處理方法和裝置及設(shè)備。

背景技術(shù)

目前登錄網(wǎng)絡(luò)視頻平臺(tái)上傳網(wǎng)絡(luò)視頻的應(yīng)用越來(lái)越廣泛，與之相關(guān)的網(wǎng)絡(luò)視頻編輯也越來(lái)越流行，對(duì)于網(wǎng)絡(luò)視頻編輯的應(yīng)用程序中，自動(dòng)為網(wǎng)絡(luò)視頻加字幕的需求也隨之增加。字幕是指在視頻播放時(shí)，對(duì)網(wǎng)絡(luò)視頻中的語(yǔ)音信息進(jìn)行文字識(shí)別，并將識(shí)別的文字進(jìn)行斷句后與視頻數(shù)據(jù)同步在屏幕上進(jìn)行顯示，自動(dòng)加字幕可以提升顯示效果，適用于更多觀看視頻的場(chǎng)景，如在嘈雜的環(huán)境中或需要靜音的環(huán)境中也能獲得視頻中的信息。

目前對(duì)上傳的視頻自動(dòng)加字幕的方式為，通過(guò)語(yǔ)音識(shí)別技術(shù)(ASR，AutomaticSpeech Recognition)將網(wǎng)絡(luò)視頻中的語(yǔ)音數(shù)據(jù)轉(zhuǎn)為文字，并且將文字與其在視頻中對(duì)應(yīng)的時(shí)間段對(duì)應(yīng)起來(lái)，從而生成字幕。但是語(yǔ)音識(shí)別技術(shù)得到的文本序列一般是沒(méi)有進(jìn)行斷句的。目前主要采用以下兩種進(jìn)行斷句：

1)通過(guò)聲音活動(dòng)檢測(cè)(VAD，Voice Activity Detection)進(jìn)行斷句。

對(duì)于有進(jìn)行斷句的語(yǔ)音識(shí)別文本，通過(guò)聲音活動(dòng)檢測(cè)(VAD)技術(shù)檢測(cè)到較長(zhǎng)靜音后將句子斷開(kāi)。

2)利用序列建模方式進(jìn)行斷句。

對(duì)未斷句文本進(jìn)行自動(dòng)加標(biāo)點(diǎn)，然后將標(biāo)點(diǎn)處設(shè)置為斷句。以流行的自動(dòng)加標(biāo)點(diǎn)技術(shù)為例，主要使用循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)這一類網(wǎng)絡(luò)對(duì)未加標(biāo)點(diǎn)的文本進(jìn)行自動(dòng)加標(biāo)點(diǎn)。

具體的過(guò)程為從音視頻數(shù)據(jù)流中提取語(yǔ)音數(shù)據(jù)，對(duì)提取的語(yǔ)音數(shù)據(jù)進(jìn)行字詞識(shí)別得到文本序列，對(duì)文本序列進(jìn)行語(yǔ)義單元識(shí)別，將識(shí)別得到的多個(gè)詞轉(zhuǎn)換為對(duì)應(yīng)的詞向量，將詞向量依次輸入到RNN，以標(biāo)注的詞向量后是否有標(biāo)點(diǎn)為結(jié)果進(jìn)行RNN網(wǎng)絡(luò)模型訓(xùn)練，利用訓(xùn)練好的RNN判斷是否在字詞后面加上標(biāo)點(diǎn)。

由于RNN網(wǎng)絡(luò)模型在序列建模時(shí)，時(shí)間t的計(jì)算依賴t-1時(shí)刻的計(jì)算結(jié)果，這樣限制了模型的并行能力。其他的網(wǎng)絡(luò)模型如長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM，Long Short-Term Memory)、門控循環(huán)單元網(wǎng)絡(luò)(GRU，Gated Recurrent Unit)也存在同樣的問(wèn)題。

可見(jiàn)，目前的采用序列建模方式進(jìn)行斷句的方案，存在難以并行處理，且由于順序計(jì)算的過(guò)程中信息會(huì)丟失精確度不高的問(wèn)題。

發(fā)明內(nèi)容

本公開(kāi)提供了一種音視頻數(shù)據(jù)處理方法和裝置及設(shè)備，可以解決現(xiàn)有的采用序列建模方式進(jìn)行斷句的方案，存在難以并行處理，且由于順序計(jì)算的過(guò)程中信息會(huì)丟失精確度不高的問(wèn)題。

第一方面，本公開(kāi)提供一種音視頻數(shù)據(jù)處理的方法，該方法包括：

接收音視頻數(shù)據(jù)流，提取所述音視頻數(shù)據(jù)流中的語(yǔ)音數(shù)據(jù)，得到包括多個(gè)語(yǔ)義單元的文本序列；

將所述多個(gè)語(yǔ)義單元轉(zhuǎn)換為對(duì)應(yīng)的詞向量；

利用對(duì)詞庫(kù)中不同語(yǔ)義單元間上下文依賴程度，采用不同預(yù)測(cè)方式，分多級(jí)預(yù)測(cè)各個(gè)詞向量對(duì)該詞向量上下文的依賴程度，其中第一級(jí)的輸入為各詞向量，之后每一級(jí)的輸入為各詞向量及上一級(jí)輸出的預(yù)測(cè)結(jié)果；

根據(jù)最后一級(jí)輸出的預(yù)測(cè)結(jié)果，確定需要附加標(biāo)點(diǎn)符號(hào)的詞向量，并在文本序列中對(duì)應(yīng)的語(yǔ)義單元位置附加標(biāo)點(diǎn)符號(hào)。