[發(fā)明專(zhuān)利]文本的識(shí)別方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111425615.5
• 申請(qǐng)日: 2021-11-26
• 公開(kāi)（公告）號(hào): CN114140782A
• 公開(kāi)（公告）日: 2022-03-04
• 發(fā)明（設(shè)計(jì)）人: 趙瑞書(shū)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類(lèi)號(hào): G06V20/62
• 分類(lèi)號(hào): G06V20/62;G06V20/40;G06V30/148;G06V30/19;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 劉冬亮

1.一種文本的識(shí)別方法，其特征在于，包括：

獲取待處理的視頻幀圖像；

從所述視頻幀圖像中提取出文本圖像，并識(shí)別出所述文本圖像的特征向量，所述文本圖像中包含至少一個(gè)文本框；

根據(jù)所述特征向量和預(yù)設(shè)的文本排列規(guī)則，對(duì)各所述文本框內(nèi)的文本內(nèi)容進(jìn)行分類(lèi)得到對(duì)應(yīng)的語(yǔ)種信息，所述文本排列規(guī)則表示對(duì)應(yīng)于各所述語(yǔ)種信息的文本內(nèi)容在展示時(shí)所占用的字符信息；

針對(duì)各所述文本框內(nèi)的文本內(nèi)容，分別選擇與各所述語(yǔ)種信息對(duì)應(yīng)的文本識(shí)別算法，并根據(jù)選擇的所述文本識(shí)別算法對(duì)相應(yīng)的所述文本框中的文本內(nèi)容進(jìn)行識(shí)別，所述文本內(nèi)容對(duì)應(yīng)的語(yǔ)種信息，與選擇的所述文本識(shí)別算法對(duì)應(yīng)的語(yǔ)種信息相同。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述特征向量和預(yù)設(shè)的文本排列規(guī)則，對(duì)各所述文本框內(nèi)的文本內(nèi)容進(jìn)行分類(lèi)得到對(duì)應(yīng)的語(yǔ)種信息，包括：

根據(jù)所述特征向量和所述文本排列規(guī)則，對(duì)各所述文本框內(nèi)的文本內(nèi)容所包含的各字符進(jìn)行分類(lèi)得到分類(lèi)結(jié)果；

將每個(gè)所述文本框?qū)?yīng)的分類(lèi)結(jié)果映射為每個(gè)所述文本框各自對(duì)應(yīng)的所述語(yǔ)種信息。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述特征向量和所述文本排列規(guī)則，對(duì)各所述文本框內(nèi)的文本內(nèi)容所包含的各字符進(jìn)行分類(lèi)得到分類(lèi)結(jié)果，包括：

將所述文本圖像輸入卷積神經(jīng)網(wǎng)絡(luò)，得到所述文本圖像的各像素點(diǎn)的圖像特征向量，將所述圖像特征向量輸入循環(huán)神經(jīng)網(wǎng)絡(luò)，得到所述像素點(diǎn)的文本特征向量；

根據(jù)所述文本特征向量統(tǒng)計(jì)各所述字符占用的關(guān)聯(lián)像素點(diǎn)或獨(dú)立像素點(diǎn)的數(shù)量，所述關(guān)聯(lián)像素點(diǎn)為一組相鄰的像素點(diǎn)，且該一組相鄰的像素點(diǎn)具有關(guān)聯(lián)的所述文本特征向量，所述獨(dú)立像素點(diǎn)為與自身相鄰的像素點(diǎn)不具有關(guān)聯(lián)的所述文本特征向量的像素點(diǎn)；

根據(jù)所述數(shù)量和所述文本排列規(guī)則對(duì)各所述字符進(jìn)行分類(lèi)得到所述分類(lèi)結(jié)果。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述文本排列規(guī)則包含所述數(shù)量所在的數(shù)量范圍與所述分類(lèi)結(jié)果之間的對(duì)應(yīng)關(guān)系；

所述根據(jù)所述數(shù)量和所述文本排列規(guī)則對(duì)各所述字符進(jìn)行分類(lèi)得到所述分類(lèi)結(jié)果，包括：

針對(duì)各所述字符，將與所述數(shù)量所在的數(shù)量范圍具有所述對(duì)應(yīng)關(guān)系的所述分類(lèi)結(jié)果，作為各所述字符的分類(lèi)結(jié)果。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將每個(gè)所述文本框?qū)?yīng)的分類(lèi)結(jié)果映射為每個(gè)所述文本框各自對(duì)應(yīng)的所述語(yǔ)種信息，包括：

針對(duì)每個(gè)所述文本框，若同一個(gè)所述文本框內(nèi)各所述字符的分類(lèi)結(jié)果相同，則將各所述字符的分類(lèi)結(jié)果作為同一個(gè)所述文本框?qū)?yīng)的所述語(yǔ)種信息；若同一個(gè)所述文本框內(nèi)各所述字符的分類(lèi)結(jié)果不相同，則將各所述字符的分類(lèi)結(jié)果，共同作為同一個(gè)所述文本框?qū)?yīng)的所述語(yǔ)種信息。

6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，其特征在于，所述語(yǔ)種信息包含中文語(yǔ)種、英文語(yǔ)種；

所述分別選擇與各所述語(yǔ)種信息對(duì)應(yīng)的文本識(shí)別算法，包括：

當(dāng)所述文本框?qū)?yīng)的所述語(yǔ)種信息僅包含所述中文語(yǔ)種時(shí)，選擇與所述中文語(yǔ)種對(duì)應(yīng)的中文識(shí)別算法；

當(dāng)所述文本框?qū)?yīng)的所述語(yǔ)種信息僅包含所述英文語(yǔ)種時(shí)，選擇與所述英文語(yǔ)種對(duì)應(yīng)的英文識(shí)別算法；

當(dāng)所述文本框?qū)?yīng)的所述語(yǔ)種信息包含所述中文語(yǔ)種和所述英文語(yǔ)種時(shí)，選擇與所述中文語(yǔ)種對(duì)應(yīng)的所述中文識(shí)別算法。

7.一種文本的識(shí)別裝置，其特征在于，包括：

獲取模塊，用于獲取待處理的視頻幀圖像；

處理模塊，用于從所述視頻幀圖像中提取出文本圖像，并識(shí)別出所述文本圖像的特征向量，所述文本圖像中包含至少一個(gè)文本框；

分類(lèi)模塊，用于根據(jù)所述特征向量和預(yù)設(shè)的文本排列規(guī)則，對(duì)各所述文本框內(nèi)的文本內(nèi)容進(jìn)行分類(lèi)得到對(duì)應(yīng)的語(yǔ)種信息，所述文本排列規(guī)則表示對(duì)應(yīng)于各所述語(yǔ)種信息的文本內(nèi)容在展示時(shí)所占用的字符信息；

識(shí)別模塊，用于針對(duì)各所述文本框內(nèi)的文本內(nèi)容，分別選擇與各所述語(yǔ)種信息對(duì)應(yīng)的文本識(shí)別算法，并根據(jù)選擇的所述文本識(shí)別算法對(duì)相應(yīng)的所述文本框中的文本內(nèi)容進(jìn)行識(shí)別，所述文本內(nèi)容對(duì)應(yīng)的語(yǔ)種信息，與選擇的所述文本識(shí)別算法對(duì)應(yīng)的語(yǔ)種信息相同。