[發(fā)明專利]提取視頻字幕的方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110117737.1
• 申請(qǐng)日: 2021-01-28
• 公開(kāi)（公告）號(hào): CN112925905A
• 公開(kāi)（公告）日: 2021-06-08
• 發(fā)明（設(shè)計(jì)）人: 王思博
• 申請(qǐng)（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F16/783;G06K9/32;G06K9/34;G06N3/08
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 王英

1.一種提取視頻字幕的方法，其特征在于，所述方法包括：

對(duì)視頻中的多幀圖像分別進(jìn)行文本檢測(cè)，得到含有文本信息的文本幀；其中所述文本信息包括所述文本幀內(nèi)各文本區(qū)域以及各所述文本區(qū)域?qū)?yīng)的文本內(nèi)容；

若檢測(cè)到多個(gè)文本區(qū)域，則對(duì)所述多個(gè)文本區(qū)域分別進(jìn)行特征提取，得到每個(gè)文本區(qū)域的特征信息；

基于所述特征信息將所述多個(gè)文本區(qū)域劃分出至少一個(gè)類別，且針對(duì)每個(gè)類別分別執(zhí)行：基于所述類別內(nèi)不同文本幀的文本內(nèi)容將所述類別劃分出至少一個(gè)子類別；且若所述類別內(nèi)包括的子類別數(shù)量大于預(yù)設(shè)子類別數(shù)量閾值，則將所述類別內(nèi)的各文本區(qū)域?qū)?yīng)的文本內(nèi)容作為從所述視頻中提取出的字幕內(nèi)容。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述特征信息將所述多個(gè)文本區(qū)域劃分出至少一個(gè)類別，包括：

基于各所述文本區(qū)域的所述特征信息進(jìn)行第一聚類分析操作，對(duì)所述多個(gè)文本區(qū)域進(jìn)行分類，得到至少一個(gè)類別；

所述基于所述類別內(nèi)不同文本幀的文本內(nèi)容將所述類別劃分出至少一個(gè)子類別，包括：

通過(guò)第二聚類分析操作對(duì)所述類別內(nèi)不同文本幀的文本內(nèi)容進(jìn)行分類，得到所述類別包括的至少一個(gè)子類別。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述特征信息對(duì)所述多個(gè)文本區(qū)域進(jìn)行第一聚類分析操作之前，所述方法還包括：

將每個(gè)所述文本區(qū)域的尺寸縮放到指定尺寸；

提取每個(gè)所述文本區(qū)域的色彩特征作為所述特征信息。

4.據(jù)權(quán)利要求3所述的方法，其特征在于，所述提取每個(gè)所述文本區(qū)域的色彩特征作為所述特征信息，包括：

針對(duì)每個(gè)文本區(qū)域，將所述文本區(qū)域轉(zhuǎn)化為灰度直方圖；

確定所述灰度直方圖中不同區(qū)間的像素點(diǎn)數(shù)；

根據(jù)不同區(qū)間的像素點(diǎn)數(shù)構(gòu)建特征向量作為所述特征信息。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，每個(gè)文本區(qū)域均具有對(duì)應(yīng)的幀標(biāo)識(shí)，所述對(duì)所述類別內(nèi)不同文本幀的文本內(nèi)容進(jìn)行第二聚類分析操作，得到所述類別包括的子類別，包括：

獲取所述類別內(nèi)各所述文本區(qū)域?qū)?yīng)的幀標(biāo)識(shí)；

將屬于同一幀標(biāo)識(shí)的多個(gè)文本區(qū)域的文本內(nèi)容，按照各文本區(qū)域在對(duì)應(yīng)文本圖像中的位置信息進(jìn)行拼接，得到各所述文本幀的文本內(nèi)容；

對(duì)所述類別內(nèi)的任意兩文本幀，確定所述任意兩文本幀的文本內(nèi)容相似度；

若所述文本內(nèi)容相似度大于相似度預(yù)設(shè)值，則所述任意兩文本幀劃分到同一個(gè)子類別。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)視頻中的多幀圖像分別進(jìn)行文本檢測(cè)，包括：

對(duì)所述視頻進(jìn)行抽幀處理，得到所述多幀圖像；

對(duì)所述多幀圖像中的每幀圖像分別進(jìn)行采用光學(xué)字符識(shí)別OCR，得到所述含有文本信息的文本幀。

7.根據(jù)權(quán)利要求1-6中任一所述的方法，其特征在于，所述對(duì)視頻中的多幀圖像分別進(jìn)行文本檢測(cè)之后，所述方法還包括：

若檢測(cè)到一個(gè)文本區(qū)域，則確定所述視頻為不包含字幕的視頻。

8.一種提取視頻字幕的裝置，其特征在于，所述裝置包括：

文本檢測(cè)模塊，被配置為對(duì)視頻中的多幀圖像分別進(jìn)行文本檢測(cè)，得到含有文本信息的文本幀；其中所述文本信息包括所述文本幀內(nèi)各文本區(qū)域以及各所述文本區(qū)域?qū)?yīng)的文本內(nèi)容；

特征提取模塊，被配置為若檢測(cè)到多個(gè)文本區(qū)域，則對(duì)所述多個(gè)文本區(qū)域分別進(jìn)行特征提取，得到每個(gè)文本區(qū)域的特征信息；

分類模塊，被配置為基于所述特征信息將所述多個(gè)文本區(qū)域劃分出至少一個(gè)類別，且針對(duì)每個(gè)類別分別執(zhí)行：基于所述類別內(nèi)不同文本幀的文本內(nèi)容將所述類別劃分出至少一個(gè)子類別；且若所述類別內(nèi)包括的子類別數(shù)量大于預(yù)設(shè)子類別數(shù)量閾值，則將所述類別內(nèi)的各文本區(qū)域?qū)?yīng)的文本內(nèi)容作為從所述視頻中提取出的字幕內(nèi)容。