[發(fā)明專利]圖片中非結(jié)構(gòu)化表格識(shí)別方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010149377.9
• 申請(qǐng)日: 2020-03-05
• 公開(kāi)（公告）號(hào): CN111368744B
• 公開(kāi)（公告）日: 2023-06-27
• 發(fā)明（設(shè)計(jì)）人: 許明;鐘華;李兆佳
• 申請(qǐng)（專利權(quán)）人: 中國(guó)工商銀行股份有限公司
• 主分類號(hào): G06V30/413
• 分類號(hào): G06V30/413;G06V30/414;G06V30/16;G06V10/82
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 王濤;孫乳筍

本申請(qǐng)實(shí)施例提供一種圖片中非結(jié)構(gòu)化表格識(shí)別方法及裝置，方法包括：對(duì)目標(biāo)圖片中的非結(jié)構(gòu)化表格區(qū)域進(jìn)行定位，得到該非結(jié)構(gòu)化表格區(qū)域的位置信息；基于所述位置信息對(duì)所述非結(jié)構(gòu)化表格區(qū)域內(nèi)的各個(gè)文本塊進(jìn)行提取，并根據(jù)提取得到的各個(gè)文本塊補(bǔ)齊所述非結(jié)構(gòu)化表格區(qū)域的表格線；應(yīng)用預(yù)設(shè)的文字識(shí)別模型對(duì)補(bǔ)齊表格線后的非結(jié)構(gòu)化表格區(qū)域進(jìn)行文字識(shí)別，得到該非結(jié)構(gòu)化表格區(qū)域?qū)?yīng)的非結(jié)構(gòu)化表格。本申請(qǐng)無(wú)需使用深層的網(wǎng)絡(luò)進(jìn)行長(zhǎng)時(shí)間訓(xùn)練，就有效能提高非結(jié)構(gòu)化表格識(shí)別結(jié)果的準(zhǔn)確率，進(jìn)而能夠準(zhǔn)確、簡(jiǎn)單且快速地向用戶輸出或展示非結(jié)構(gòu)化表格，以有效提高用戶讀取非結(jié)構(gòu)化表格中數(shù)據(jù)的準(zhǔn)確性和便捷性，提高用戶體驗(yàn)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及圖片識(shí)別技術(shù)領(lǐng)域，具體涉及圖片中非結(jié)構(gòu)化表格識(shí)別方法及裝置。

背景技術(shù)

目前，在計(jì)算機(jī)視覺(jué)領(lǐng)域中，對(duì)圖片中的內(nèi)容進(jìn)行識(shí)別的研究已經(jīng)取得了不錯(cuò)的效果。現(xiàn)在已經(jīng)開(kāi)始針對(duì)圖片中存在表格的情況，對(duì)表格中的內(nèi)容進(jìn)行識(shí)別。現(xiàn)階段，對(duì)表格圖片進(jìn)行識(shí)別主要分為兩步：對(duì)表格區(qū)域進(jìn)行定位和對(duì)表格區(qū)域進(jìn)行識(shí)別。定位常用的技術(shù)手段有：連通域提取等傳統(tǒng)圖像處理技術(shù)以及R-CNN(Region-CNN)、faster-R-CNN等深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的定位模型進(jìn)行定位。文字識(shí)別技術(shù)則常用到Tesseract、C-RNN等。

但現(xiàn)在針對(duì)非結(jié)構(gòu)化表格圖片進(jìn)行識(shí)別依然沒(méi)有較好的技術(shù)手段達(dá)到成功的準(zhǔn)確率。非結(jié)構(gòu)化表格是指文字相對(duì)對(duì)齊，且缺少甚至沒(méi)有表格線的一系列文本塊區(qū)域(如三線表)。這類圖片盡管可以將其視為段落文本進(jìn)行整文識(shí)別，但識(shí)別結(jié)果沒(méi)有任何相關(guān)性，而表格內(nèi)容通常是高度相關(guān)的，這就導(dǎo)致無(wú)法獲取相對(duì)行列位置區(qū)域的某個(gè)文本塊。

因此，對(duì)于非結(jié)構(gòu)化表格圖片的識(shí)別中識(shí)別結(jié)果格式混亂但內(nèi)容邏輯相關(guān)的情況，目前還沒(méi)有一種高效的圖像處理方法。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的問(wèn)題，本申請(qǐng)?zhí)峁┮环N圖片中非結(jié)構(gòu)化表格識(shí)別方法及裝置，無(wú)需使用深層的網(wǎng)絡(luò)進(jìn)行長(zhǎng)時(shí)間訓(xùn)練，就有效能提高非結(jié)構(gòu)化表格識(shí)別結(jié)果的準(zhǔn)確率，進(jìn)而能夠準(zhǔn)確、簡(jiǎn)單且快速地向用戶輸出或展示非結(jié)構(gòu)化表格，以有效提高用戶讀取非結(jié)構(gòu)化表格中數(shù)據(jù)的準(zhǔn)確性和便捷性，提高用戶體驗(yàn)。

為解決上述技術(shù)問(wèn)題，本申請(qǐng)?zhí)峁┮韵录夹g(shù)方案：

第一方面，本申請(qǐng)?zhí)峁┮环N圖片中非結(jié)構(gòu)化表格識(shí)別方法，包括：

對(duì)目標(biāo)圖片中的非結(jié)構(gòu)化表格區(qū)域進(jìn)行定位，得到該非結(jié)構(gòu)化表格區(qū)域的位置信息；

基于所述位置信息對(duì)所述非結(jié)構(gòu)化表格區(qū)域內(nèi)的各個(gè)文本塊進(jìn)行提取，并根據(jù)提取得到的各個(gè)文本塊補(bǔ)齊所述非結(jié)構(gòu)化表格區(qū)域的表格線；

應(yīng)用預(yù)設(shè)的文字識(shí)別模型對(duì)補(bǔ)齊表格線后的非結(jié)構(gòu)化表格區(qū)域進(jìn)行文字識(shí)別，得到該非結(jié)構(gòu)化表格區(qū)域?qū)?yīng)的非結(jié)構(gòu)化表格。

進(jìn)一步地，所述基于所述位置信息對(duì)所述非結(jié)構(gòu)化表格區(qū)域內(nèi)的各個(gè)文本塊進(jìn)行提取，包括：

應(yīng)用預(yù)設(shè)的圖像預(yù)處理方式，基于所述位置信息對(duì)所述非結(jié)構(gòu)化表格區(qū)域進(jìn)行相鄰的文本塊提取，其中，所述圖像預(yù)處理方式包括：連通域提取方式。

進(jìn)一步地，所述圖像預(yù)處理方式還包括：圖像灰度化處理方式、邊緣檢測(cè)處理方式和形態(tài)學(xué)處理處理方式。

進(jìn)一步地，所述應(yīng)用預(yù)設(shè)的文字識(shí)別模型對(duì)補(bǔ)齊表格線后的非結(jié)構(gòu)化表格區(qū)域進(jìn)行文字識(shí)別，包括：

獲取補(bǔ)齊表格線后的非結(jié)構(gòu)化表格區(qū)域?qū)?yīng)的各個(gè)文字切片；

將各個(gè)所述文字切片分別輸入預(yù)設(shè)的文字識(shí)別模型，并將該文字識(shí)別模型的輸出分別作為各個(gè)所述文字切片的文字識(shí)別結(jié)果；

根據(jù)各個(gè)所述文字切片的文字識(shí)別結(jié)果生成對(duì)應(yīng)的非結(jié)構(gòu)化表格。

進(jìn)一步地，所述獲取補(bǔ)齊表格線后的非結(jié)構(gòu)化表格區(qū)域?qū)?yīng)的各個(gè)文字切片，包括：