[發(fā)明專利]一種簡單表格照片中的關(guān)鍵列內(nèi)手寫數(shù)據(jù)提取方法

有效

• 申請?zhí)枺?/td>: 202010117780.3
• 申請日: 2020-02-25
• 公開（公告）號: CN111339937B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計）人: 鄭會龍
• 申請（專利權(quán)）人: 杭州測質(zhì)成科技有限公司
• 主分類號: G06V30/413
• 分類號: G06V30/413;G06V30/414;G06V10/28;G06V10/26;G06V10/82
• 代理公司: 鎮(zhèn)江基德專利代理事務(wù)所(普通合伙) 32306
• 代理人: 鄧月芳

本發(fā)明公開了一種簡單表格照片中的關(guān)鍵列內(nèi)手寫數(shù)據(jù)提取方法，主要解決對采集到的不同行列的簡單表格照片，根據(jù)提供的列名關(guān)鍵詞提取該列內(nèi)的手寫數(shù)據(jù)。該方法包括：從照片中提取表格區(qū)域；檢測表頭定位關(guān)鍵詞所在的列；確定列所包含的范圍，切割圖像；對切割后的列圖像處理消除表格線；提取數(shù)據(jù)區(qū)域使用OCR識別數(shù)據(jù)。該方法具有較強(qiáng)的魯棒性，能夠應(yīng)對圖像拍攝采集過程中紙張不平整，打印時表格線空洞缺損等現(xiàn)象。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機(jī)視覺領(lǐng)域，具體地設(shè)計一種簡單表格照片中的關(guān)鍵列內(nèi)手寫數(shù)據(jù)提取方法。

背景技術(shù)

在現(xiàn)有技術(shù)中，對于手寫數(shù)據(jù)的采集技術(shù)已經(jīng)較為成熟，但是在需要識別并提取表格中的指定列手寫數(shù)據(jù)時，仍然是先識別并提取整個表格內(nèi)的手寫數(shù)據(jù)，再通過對整個表格內(nèi)的列篩選出所需的關(guān)鍵名列的方法，這一方法在遇到圖像拍攝采集過程中紙張不平整、打印時表格線空洞缺損等問題時，會影響到整個表格的建立，導(dǎo)致篩選出的關(guān)鍵列出現(xiàn)錯漏或錯位的問題。

發(fā)明內(nèi)容

本發(fā)明的目的是為了解決以上現(xiàn)有技術(shù)的不足，提出了一種簡單表格照片中的關(guān)鍵列內(nèi)手寫數(shù)據(jù)提取方法，包括：

步驟1：將采集到的照片進(jìn)行圖像處理，得到僅包含表格區(qū)域的灰度圖像：

1.1對采集到的圖像做二值化處理，提取其中最大白色連通域作為紙張掩碼，使用掩碼層覆蓋原圖像；特別的，針對紙張手持或按壓時的情況，使用HSV顏色空間分析屬于膚色范圍內(nèi)區(qū)域，制作掩碼覆蓋；

1.2對掩碼覆蓋后的圖像做二值化處理，獲取表格連通域；特別的，針對可能存在的打印導(dǎo)致表格線空洞缺損，對二值化圖像進(jìn)行反色處理后再提取連通域；計算連通域外接矩形，以外接矩最大的區(qū)域作為表格區(qū)域，利用外接矩角度值將表格圖像旋轉(zhuǎn)到水平，計算旋轉(zhuǎn)后的表格區(qū)域坐標(biāo)，切割圖像；

步驟2：對表格區(qū)域圖像進(jìn)行二值化處理，利用圖像處理獲得橫向和縱向表格線圖，利用投影法分別計算橫線的y坐標(biāo)和縱線的x坐標(biāo)；

步驟3：根據(jù)表格線間的位置關(guān)系，確定表頭所有列名的位置，對該區(qū)域進(jìn)行切割及處理后，輸入到訓(xùn)練好的CRNN網(wǎng)絡(luò)識別，和給定的表頭關(guān)鍵字比較，確定所需識別的列；

步驟4：將所得坐標(biāo)和縱向表格線坐標(biāo)比較，確定所在列外部兩側(cè)的x坐標(biāo)，以該坐標(biāo)切割表格灰度圖像，獲得待識別的單列灰度圖像；

步驟5：對單列圖像進(jìn)行二值化，使用圖像處理，抹去單列圖像中表格線；

步驟6：使用投影法從處理后單列圖像中將每行手寫數(shù)據(jù)切分出來；

步驟7：將切分出的手寫數(shù)據(jù)塊輸入到訓(xùn)練好的CRNN網(wǎng)絡(luò)中，識別手寫數(shù)據(jù)備。

為了更好地實(shí)現(xiàn)對關(guān)鍵列內(nèi)手寫數(shù)據(jù)的提取方法，優(yōu)選地，所述的步驟2中：

2.1對步驟1所得表格區(qū)域圖像，二值化圖像，根據(jù)圖像的長和寬確定不同形狀的核，對表格區(qū)域圖像進(jìn)行腐蝕膨脹操作，獲得僅有橫向表格線和僅有縱向表格線的圖片；

2.2使用投影法分別計算橫向和縱向表格線坐標(biāo)：

proj_y＝Mat·[1,1…,1]_1×h

p＝where?proj＞val_proj，p_diff＝p[1:]-p[:-1]，i_p＝where?p_diff＞val_gap

line＝((p[1:])[i_p]+(p[:-1])[i_p])/2

Mat代表二值化的圖像矩陣，利用矩陣乘法計算二值化圖像的x軸，y軸投影，當(dāng)投影值大于閾值val_proj時認(rèn)為表格線存在，當(dāng)兩條表格線間距小于val_gap時則合并；表格線坐標(biāo)為進(jìn)入表格線投影時坐標(biāo)與離開表格線投影坐標(biāo)的中值。