[發(fā)明專利]一種文本行提取方法及裝置、電子設(shè)備

在審

• 申請?zhí)枺?/td>: 201910270014.8
• 申請日: 2019-04-04
• 公開（公告）號: CN110119681A
• 公開（公告）日: 2019-08-13
• 發(fā)明（設(shè)計）人: 韓茂琨;回艷菲;王健宗
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06K9/34
• 代理公司: 深圳市隆天聯(lián)鼎知識產(chǎn)權(quán)代理有限公司 44232
• 代理人: 劉抗美

1.一種文本行提取方法，其特征在于，所述方法包括：

獲取輸入圖像；

對所述輸入圖像進(jìn)行二值化處理，以獲得二值輸入圖像；

將所述二值輸入圖像輸入混合神經(jīng)網(wǎng)絡(luò)模型以進(jìn)行文本行標(biāo)注，獲得標(biāo)有文本行特征線的輸出圖像；其中，所述混合神經(jīng)網(wǎng)絡(luò)模型包括卷積層、最大池化層以及長短期記憶網(wǎng)絡(luò)層；

對所述標(biāo)有文本行特征線的輸出圖像進(jìn)行上采樣，獲得目標(biāo)輸出圖像，以根據(jù)所述目標(biāo)輸出圖像的文本行特征線，從所述輸入圖像中提取出相應(yīng)的文本行；其中，所述目標(biāo)輸出圖像的尺寸與所述輸入圖像的尺寸相匹配。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述輸入圖像進(jìn)行二值化處理，以獲得二值輸入圖像，包括：

將所述輸入圖像從RGB顏色空間轉(zhuǎn)換到灰度顏色空間，以獲得灰度輸入圖像；

對所述灰度輸入圖像進(jìn)行二值化處理，以獲得初始二值圖像；其中，所述初始二值圖像的背景色為白色；

對所述初始二值圖像進(jìn)行顏色反轉(zhuǎn)處理，以獲得二值輸入圖像；其中，所述二值輸入圖像的背景色為黑色。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述獲取輸入圖像之前，所述方法還包括：

對用于訓(xùn)練模型的二值文本圖像進(jìn)行文本行標(biāo)注，以獲得目標(biāo)二值圖像；

將所述二值文本圖像和所述目標(biāo)二值圖像輸入混合神經(jīng)網(wǎng)絡(luò)；

根據(jù)所述目標(biāo)二值圖像調(diào)整所述混合神經(jīng)網(wǎng)絡(luò)的參數(shù)，直至利用所述混合神經(jīng)網(wǎng)絡(luò)對所述二值文本圖像進(jìn)行文本行標(biāo)注后輸出的圖像與所述目標(biāo)二值圖像達(dá)到指定的匹配度時，生成混合神經(jīng)網(wǎng)絡(luò)模型。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對用于訓(xùn)練模型的二值文本圖像進(jìn)行文本行標(biāo)注，以獲得目標(biāo)二值圖像，包括：

利用包圍盒對用于訓(xùn)練模型的二值文本圖像進(jìn)行標(biāo)注，以獲得標(biāo)有包圍盒的二值文本圖像；

利用高斯濾波器對所述標(biāo)有包圍盒的二值文本圖像中的文本行圖像進(jìn)行處理，以獲得標(biāo)有文本行特征線的二值文本圖像；

通過掩模對所述標(biāo)有文本行特征線的二值文本圖像進(jìn)行冗余內(nèi)容及噪聲消除處理，以獲得目標(biāo)二值圖像；其中，所述冗余內(nèi)容包括插圖、表格或者內(nèi)部文本行；所述噪聲包括圖像邊緣噪聲。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述混合神經(jīng)網(wǎng)絡(luò)模型包括第一網(wǎng)絡(luò)層、第二網(wǎng)絡(luò)層、第三網(wǎng)絡(luò)層、第四網(wǎng)絡(luò)層和第五網(wǎng)絡(luò)層；所述第一網(wǎng)絡(luò)層包括卷積層和最大池化層，所述第二網(wǎng)絡(luò)層包括卷積層和最大池化層，所述第三網(wǎng)絡(luò)層包括卷積層和長短期記憶網(wǎng)絡(luò)層，所述第四網(wǎng)絡(luò)層包括卷積層和長短期記憶網(wǎng)絡(luò)層，所述第五網(wǎng)絡(luò)層包括卷積層；

所述將所述二值輸入圖像輸入混合神經(jīng)網(wǎng)絡(luò)模型以進(jìn)行文本行標(biāo)注，獲得標(biāo)有文本行特征線的輸出圖像，包括：

將所述二值輸入圖像經(jīng)所述第一網(wǎng)絡(luò)層進(jìn)行卷積和過濾處理，獲得第一處理圖像；其中，所述第一處理圖像的圖像通道數(shù)大于所述二值輸入圖像的圖像通道數(shù)，且所述第一處理圖像的尺寸為所述二值輸入圖像的尺寸的二分之一；

將所述第一處理圖像經(jīng)所述第二網(wǎng)絡(luò)層進(jìn)行卷積和過濾處理，獲得第二處理圖像；其中，所述第二處理圖像的圖像通道數(shù)大于所述第一處理圖像的圖像通道數(shù)，且所述第二處理圖像的尺寸為所述第一處理圖像的尺寸的二分之一；

通過所述第三網(wǎng)絡(luò)層和所述第四網(wǎng)絡(luò)層對所述第二處理圖像進(jìn)行高斯特征與結(jié)構(gòu)信息提取處理，以獲得第三處理圖像；其中，所述第三處理圖像的圖像通道數(shù)小于所述第二處理圖像的圖像通道數(shù)，且所述第三處理圖像的尺寸與所述第二處理圖像的尺寸一致；

通過所述第五網(wǎng)絡(luò)層將所述第三處理圖像從多通道圖像轉(zhuǎn)化為單通道圖像，以獲得標(biāo)有文本行特征線的輸出圖像；其中，所述標(biāo)有文本行特征線的輸出圖像的圖像通道數(shù)為1，且所述標(biāo)有文本行特征線的輸出圖像的尺寸與所述第三處理圖像的尺寸一致。