[發(fā)明專利]一種混合語(yǔ)種字幕文件生成方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710065710.6
• 申請(qǐng)日: 2017-02-06
• 公開(kāi)（公告）號(hào): CN106878805A
• 公開(kāi)（公告）日: 2017-06-20
• 發(fā)明（設(shè)計(jì)）人: 王金龍
• 申請(qǐng)（專利權(quán)）人: 廣東小天才科技有限公司
• 主分類號(hào): H04N21/439
• 分類號(hào): H04N21/439;H04N21/488;H04N21/81
• 代理公司: 深圳青年人專利商標(biāo)代理有限公司44350
• 代理人: 吳桂華

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種混合語(yǔ)種字幕文件生成方法及裝置。

背景技術(shù)

在影視劇節(jié)目或者在網(wǎng)上課堂等視頻中，字幕能夠很好地幫助觀眾理解節(jié)目劇情或者人物說(shuō)話的意思，因此字幕已經(jīng)成為各類視頻不可或缺的部分。由于在這些視頻中，可能出現(xiàn)人物說(shuō)話時(shí)用到多種語(yǔ)言的情形，例如在英文課堂教學(xué)中，老師通常將英文和中文摻雜使用，因此這類視頻涉及到混合語(yǔ)種字幕的生成的問(wèn)題。目前，在現(xiàn)有技術(shù)中對(duì)于混合語(yǔ)種字幕生成問(wèn)題，通常先將視頻的音頻語(yǔ)音識(shí)別為一種單獨(dú)的語(yǔ)言，再又人工將相應(yīng)的部分改為另外一種語(yǔ)言，可見(jiàn)，這種方式不僅耗時(shí)較長(zhǎng)、效率較低，而且語(yǔ)音識(shí)別準(zhǔn)確率不高。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種混合語(yǔ)種字幕文件生成方法及裝置，旨在解決由于現(xiàn)有技術(shù)無(wú)法提供一種有效的混合語(yǔ)種字幕文件的生成方法，導(dǎo)致混合語(yǔ)種字幕文件生成效率低、成本高的問(wèn)題。

一方面，本發(fā)明提供了一種混合語(yǔ)種字幕文件生成方法，所述方法包括下述步驟：

接收用戶輸入的音視頻文件，提取所述音視頻文件中的音頻；

將所述音頻分割為多個(gè)音頻段，并存儲(chǔ)每個(gè)音頻段對(duì)應(yīng)的時(shí)間信息；

對(duì)所述多個(gè)音頻段進(jìn)行語(yǔ)種識(shí)別，獲取所述音頻段對(duì)應(yīng)的語(yǔ)種類別；

根據(jù)所述語(yǔ)種類別，對(duì)所述多個(gè)音頻段進(jìn)行語(yǔ)音識(shí)別，并獲取所述音頻段語(yǔ)音識(shí)別后的文本內(nèi)容；

根據(jù)所述音頻段的時(shí)間信息和文本內(nèi)容，生成混合語(yǔ)種的字幕文本。

另一方面，本發(fā)明提供了一種混合語(yǔ)種字幕文件生成系統(tǒng)，所述系統(tǒng)包括：

音音頻提取模塊，用于接收用戶輸入的音視頻文件，提取所述音視頻文件中的音頻；

音頻分割模塊，用于將所述音頻分割為多個(gè)音頻段，并存儲(chǔ)每個(gè)音頻段對(duì)應(yīng)的時(shí)間信息；

語(yǔ)種識(shí)別模塊，用于對(duì)所述多個(gè)音頻段進(jìn)行語(yǔ)種識(shí)別，獲取所述音頻段對(duì)應(yīng)的語(yǔ)種類別；

語(yǔ)音識(shí)別模塊，用于根據(jù)所述語(yǔ)種類別，對(duì)所述多個(gè)音頻段進(jìn)行語(yǔ)音識(shí)別，并獲取所述音頻段語(yǔ)音識(shí)別后的文本內(nèi)容；以及

字幕生成模塊，用于根據(jù)所述音頻段的時(shí)間信息和文本內(nèi)容，生成混合語(yǔ)種的字幕文本。

本發(fā)明接收用戶輸入的音視頻文件，提取音視頻文件中的音頻，將音頻分割為多個(gè)音頻段，并存儲(chǔ)每個(gè)音頻段對(duì)應(yīng)的時(shí)間信息，對(duì)多個(gè)音頻段進(jìn)行語(yǔ)種識(shí)別，獲取音頻段對(duì)應(yīng)的語(yǔ)種類別，根據(jù)該語(yǔ)種類別，對(duì)多個(gè)音頻段進(jìn)行語(yǔ)音識(shí)別，并獲取這些音頻段語(yǔ)音識(shí)別后的文本內(nèi)容，根據(jù)音頻段的時(shí)間信息和文本內(nèi)容，生成混合語(yǔ)種的字幕文本，從而實(shí)現(xiàn)了混合語(yǔ)種字幕文件的生成，有效地提高了混合語(yǔ)種語(yǔ)音的識(shí)別準(zhǔn)確率和混合語(yǔ)種字幕文件的生成效率，降低了混合語(yǔ)種字幕文件的生成成本。

附圖說(shuō)明

圖1是本發(fā)明實(shí)施例一提供的混合語(yǔ)種字幕文件生成方法的實(shí)現(xiàn)流程圖；

圖2是本發(fā)明實(shí)施例二提供的混合語(yǔ)種字幕文件生成裝置的結(jié)構(gòu)示意圖；以及

圖3是本發(fā)明實(shí)施例三提供的混合語(yǔ)種字幕文件生成裝置的優(yōu)選結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

以下結(jié)合具體實(shí)施例對(duì)本發(fā)明的具體實(shí)現(xiàn)進(jìn)行詳細(xì)描述：

實(shí)施例一：

圖1示出了本發(fā)明實(shí)施例一提供的混合語(yǔ)種字幕文件生成方法的實(shí)現(xiàn)流程，為了便于說(shuō)明，僅示出了與本發(fā)明實(shí)施例相關(guān)的部分，詳述如下：

在步驟S101中，接收用戶輸入的音視頻文件，提取音視頻文件中的音頻。

本發(fā)明實(shí)施例適用于支持音視頻播放的計(jì)算機(jī)、手機(jī)、平板電腦等音視頻播放設(shè)備。音視頻文件為無(wú)字幕的音頻文件或者視頻文件，且該音頻或者視頻中可能出現(xiàn)多種語(yǔ)言，例如，一句話中同時(shí)出現(xiàn)中文和英文、或者一段話中同時(shí)出現(xiàn)一句或多句中文和英文。具體地，當(dāng)該音視頻文件為視頻文件時(shí)，需分離出該視頻文件中的音頻流，并將該音頻流保存為音頻文件，以便后續(xù)步驟中的音頻分割、語(yǔ)種識(shí)別等操作。

優(yōu)選地，提取出音視頻文件中的音頻后可對(duì)該音頻進(jìn)行預(yù)處理，預(yù)處理方式可包括音頻信號(hào)去噪、分貝值設(shè)置等，以去除音頻中的噪音干擾和弱化背景音，從而使得音頻中的發(fā)音更為清晰，得到更適于語(yǔ)音識(shí)別和語(yǔ)種識(shí)別的音頻。

在步驟S102中，將音頻分割為多個(gè)音頻段，并存儲(chǔ)每個(gè)音頻段對(duì)應(yīng)的時(shí)間信息。