[發(fā)明專(zhuān)利]一種視頻字幕關(guān)鍵詞識(shí)別方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811642015.2
• 申請(qǐng)日: 2018-12-29
• 公開(kāi)（公告）號(hào): CN109918987B
• 公開(kāi)（公告）日: 2021-05-14
• 發(fā)明（設(shè)計(jì)）人: 熊荔;張峰;王子瑋
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)電子科技集團(tuán)公司信息科學(xué)研究院
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/32
• 代理公司: 北京辰權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11619
• 代理人: 劉廣達(dá)

1.一種視頻字幕關(guān)鍵詞識(shí)別方法，其特征在于，所述方法包括：

每隔預(yù)設(shè)時(shí)長(zhǎng)從所述視頻數(shù)據(jù)中提取一幀圖像；

將提取的當(dāng)前幀圖像與上一幀圖像進(jìn)行灰度值差值運(yùn)算，得到所述當(dāng)前幀圖像對(duì)應(yīng)的差值矩陣；

計(jì)算所述差值矩陣包括的所有非零像素值的平均值及方差；

確定所述差值矩陣中像素值大于所述平均值的非零像素值的第一數(shù)量，及像素值大于所述方差的非零像素值的第二數(shù)量；

根據(jù)所述第一數(shù)量和所述第二數(shù)量，計(jì)算判定閾值；

根據(jù)所述差值矩陣及所述判定閾值，確定所述當(dāng)前幀圖像是否為視頻關(guān)鍵幀；

獲取所述視頻關(guān)鍵幀對(duì)應(yīng)的文本行圖像；

識(shí)別所述文本行圖像中包括的所有文字字符；

根據(jù)預(yù)設(shè)的關(guān)鍵詞庫(kù)，從所述所有文字字符中提取關(guān)鍵詞。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述差值矩陣及所述判定閾值，確定所述當(dāng)前幀圖像是否為視頻關(guān)鍵幀，包括：

統(tǒng)計(jì)所述差值矩陣包括的非零像素值的數(shù)量；

若所述非零像素值的數(shù)量大于所述判定閾值，則將所述當(dāng)前幀圖像確定為視頻關(guān)鍵幀。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取所述視頻關(guān)鍵幀對(duì)應(yīng)的文本行圖像，包括：

通過(guò)預(yù)設(shè)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述視頻關(guān)鍵幀進(jìn)行特征提取，得到所述視頻關(guān)鍵幀對(duì)應(yīng)的特征圖；

識(shí)別所述特征圖中包括的各個(gè)文本框；

根據(jù)所述各個(gè)文本框，獲取所述視頻關(guān)鍵幀對(duì)應(yīng)的文本行圖像。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述識(shí)別所述特征圖中包括的各個(gè)文本框，包括：

通過(guò)預(yù)設(shè)尺寸的滑動(dòng)窗對(duì)所述特征圖進(jìn)行滑動(dòng)檢測(cè)，得到每個(gè)所述滑動(dòng)窗對(duì)應(yīng)的多個(gè)文本框的坐標(biāo)；

對(duì)每個(gè)所述滑動(dòng)窗對(duì)應(yīng)的所述多個(gè)文本框的坐標(biāo)進(jìn)行過(guò)濾，得到每個(gè)所述滑動(dòng)窗對(duì)應(yīng)的文本框。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述各個(gè)文本框，獲取所述視頻關(guān)鍵幀對(duì)應(yīng)的文本行圖像，包括：

將所述各個(gè)文本框合并為文本行；

通過(guò)區(qū)域特征提取MSER分水嶺算法對(duì)所述文本行進(jìn)行文字分割，得到所述文本行包括的每個(gè)文字區(qū)域的坐標(biāo)；

根據(jù)所述每個(gè)文字區(qū)域的坐標(biāo)，從所述文本行中去除長(zhǎng)寬比大于預(yù)設(shè)比值的文字區(qū)域；

從所述特征圖中截取所述文本行對(duì)應(yīng)的文本行圖像。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述識(shí)別所述文本行圖像中包括的所有文字字符，包括：

獲取所述文本行圖像對(duì)應(yīng)的卷積特征矩陣；

通過(guò)雙向長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM的循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)所述卷積特征矩陣進(jìn)行類(lèi)別預(yù)測(cè)；

將預(yù)測(cè)結(jié)果轉(zhuǎn)化為文字字符。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)預(yù)設(shè)的關(guān)鍵詞庫(kù)，從所述所有文字字符中提取關(guān)鍵詞，包括：

計(jì)算第一文字字符對(duì)應(yīng)的第一轉(zhuǎn)碼序列，所述第一文字字符為所述所有文字字符中的任一文字字符；

查詢(xún)預(yù)設(shè)的關(guān)鍵詞庫(kù)包括的關(guān)鍵詞與第二轉(zhuǎn)碼序列的對(duì)應(yīng)關(guān)系中是否存在與所述第一轉(zhuǎn)碼序列相同的第二轉(zhuǎn)碼序列；

如果是，則從所述所有文字字符中提取所述第一文字字符作為關(guān)鍵詞。

8.一種視頻字幕關(guān)鍵詞識(shí)別裝置，其特征在于，所述裝置包括：

關(guān)鍵幀提取模塊，用于每隔預(yù)設(shè)時(shí)長(zhǎng)從所述視頻數(shù)據(jù)中提取一幀圖像；將提取的當(dāng)前幀圖像與上一幀圖像進(jìn)行灰度值差值運(yùn)算，得到所述當(dāng)前幀圖像對(duì)應(yīng)的差值矩陣；計(jì)算所述差值矩陣包括的所有非零像素值的平均值及方差；確定所述差值矩陣中像素值大于所述平均值的非零像素值的第一數(shù)量，及像素值大于所述方差的非零像素值的第二數(shù)量；根據(jù)所述第一數(shù)量和所述第二數(shù)量，計(jì)算判定閾值；根據(jù)所述差值矩陣及所述判定閾值，確定所述當(dāng)前幀圖像是否為視頻關(guān)鍵幀；

獲取模塊，用于獲取所述視頻關(guān)鍵幀對(duì)應(yīng)的文本行圖像；

識(shí)別模塊，用于識(shí)別所述文本行圖像中包括的所有文字字符；

關(guān)鍵詞提取模塊，用于根據(jù)預(yù)設(shè)的關(guān)鍵詞庫(kù)，從所述所有文字字符中提取關(guān)鍵詞。