[發明專利]一種簡單表格照片中的關鍵列內手寫數據提取方法

有效

• 申請號: 202010117780.3
• 申請日: 2020-02-25
• 公開（公告）號: CN111339937B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 鄭會龍
• 申請（專利權）人: 杭州測質成科技有限公司
• 主分類號: G06V30/413
• 分類號: G06V30/413;G06V30/414;G06V10/28;G06V10/26;G06V10/82
• 代理公司: 鎮江基德專利代理事務所(普通合伙) 32306
• 代理人: 鄧月芳

1.一種簡單表格照片中的關鍵列內手寫數據提取方法，其特征在于，包括：

步驟1：將采集到的照片進行圖像處理，得到僅包含表格區域的灰度圖像：

1.1對采集到的圖像做二值化處理，提取其中最大白色連通域作為紙張掩碼，使用掩碼層覆蓋原圖像；針對紙張手持或按壓時的情況，使用HSV顏色空間分析屬于膚色范圍內區域，制作掩碼覆蓋；

1.2對掩碼覆蓋后的圖像做二值化處理，獲取表格連通域；針對可能存在的打印導致表格線空洞缺損，對二值化圖像進行反色處理后再提取連通域；計算連通域外接矩形，以外接矩最大的區域作為表格區域，利用外接矩角度值將表格圖像旋轉到水平，計算旋轉后的表格區域坐標，切割圖像；

步驟2：對表格區域圖像進行二值化處理，利用圖像處理獲得橫向和縱向表格線圖，利用投影法分別計算橫線的y坐標和縱線的x坐標；

步驟3：根據表格線間的位置關系，確定表頭所有列名的位置，對該區域進行切割及處理后，輸入到訓練好的CRNN網絡識別，和給定的表頭關鍵字比較，確定所需識別的列；

步驟4：將所得坐標和縱向表格線坐標比較，確定所在列外部兩側的x坐標，以該坐標切割表格灰度圖像，獲得待識別的單列灰度圖像；

步驟5：對單列圖像進行二值化，使用圖像處理，抹去單列圖像中表格線；

步驟6：使用投影法從處理后單列圖像中將每行手寫數據切分出來；

步驟7：將切分出的手寫數據塊輸入到訓練好的CRNN網絡中，識別手寫數據備。

2.根據權利要求1所述的一種簡單表格照片中的關鍵列內手寫數據提取方法，其特征在于，所述的步驟2中：

2.1對步驟1所得表格區域圖像，二值化圖像，根據圖像的長和寬確定不同形狀的核，對表格區域圖像進行腐蝕膨脹操作，獲得僅有橫向表格線和僅有縱向表格線的圖片；

2.2使用投影法分別計算橫向和縱向表格線坐標：

Mat代表二值化的圖像矩陣，利用矩陣乘法計算二值化圖像的x軸，y軸投影，當投影值大于閾值時認為表格線存在，當兩條表格線間距小于時則合并；表格線坐標為進入表格線投影時坐標與離開表格線投影坐標的中值。

3.根據權利要求1所述的簡單表格照片中的關鍵列內手寫數據提取方法，其特征在于，所述的步驟3中：3.1利用y值最小的兩條橫向表格線坐標，和縱向表格線坐標切割步驟1所得表格區域圖像；獲得所有列名所在的區域；

3.2使用膨脹腐蝕獲取3.1所得每個圖像中可能存在的邊界框，制作掩碼擦除邊界框；

3.3將擦除邊界框后的列名圖像送入以訓練好的打印體識別CRNN網絡，獲取結果；和關鍵詞作比較，確定需識別哪一列。

4.根據權利要求1所述的簡單表格照片中的關鍵列內手寫數據提取方法，其特征在于，所述的步驟5中：針對拍攝時紙張不平整的狀態，利用膨脹腐蝕獲得該列圖像中的橫向與縱向表格線；對縱向表格線圖做膨脹操作；提取圖中最大的連通域作為掩碼，排除因表格線彎曲帶來的左右兩側多余部分；合并掩碼層與橫向表格線圖；去除單列圖像中的表格線。