[發明專利]一種票據圖像的文字提取方法及裝置

在審

• 申請號: 202210277776.2
• 申請日: 2022-03-21
• 公開（公告）號: CN114612922A
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 嚴宇平;葉杭;吳廣財;錢正浩;蔡徽;王建永;林俊;林嘉鑫
• 申請（專利權）人: 廣東電網有限責任公司
• 主分類號: G06V30/414
• 分類號: G06V30/414;G06V30/14;G06V10/762;G06K9/62;G06T7/73;G06F40/109
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 何卿華

1.一種票據圖像的文字提取方法，其特征在于，包括：

獲取票據圖像，將所述票據圖像輸入至預設的文字檢測識別模型中，以使所述文字檢測識別模型識別所述票據圖像中的各字段、各字段的中心點橫坐標以及各字段的中心點縱坐標；

根據各字段的中心點縱坐標差值對各字段進行聚類，繼而將位于同一類的字段作為同一行的字段；根據每一行中字段的中心點縱坐標的平均值確定每一行的行序；根據字段的中心點橫坐標確定每一字段在對應行中的排序；

根據各字段的中心點橫坐標差值對各字段進行聚類，繼而將位于同一類的字段作為同一列的字段；根據每一列中字段的中心點橫坐標的平均值確定每一列的列序；根據字段的中心點縱坐標確定每一字段在對應列中的排序；

根據每一行的行序、每一列的列序、每一字段在對應行中的排序以及每一字段在對應列中的排序進行排版，并按排版后版面格式將各字段進行輸出。

2.如權利要求1所述的票據圖像的文字提取方法，其特征在于，在將所述票據圖像輸入至預設的文字檢測識別模型中之前，還包括：

對所述票據圖像進行圖像預處理；其中，所述圖像預處理包括以下任意一項或其組合：剔除模糊圖像、票據角度校正以及剔除票據公章。

3.如權利要求1所述的票據圖像的文字提取方法，其特征在于，所述文字檢測識別模型包括：文字檢測子模型和文字識別子模型；

所述文字檢測識別模型識別所述票據圖像中的各字段、各字段的中心點橫坐標以及各字段的中心點縱坐標，具體包括：

通過文字檢測子模型對所述票據圖像進行檢測，并識別各疑似字段的矩形框坐標以及各疑似字段所對應置信度分數；

將置信度分數小于預設閾值的疑似字段的矩形框進行剔除，繼而根據將剩余疑似字段的矩形框坐標截取對應矩形框圖像，并將截取的各矩形框圖像輸入至所述文字識別子模型，以使所述文字識別子模型識別各矩形框圖像中的字段、字段的中心線橫坐標以及中心線縱坐標。

4.如權利要求1所述的票據圖像的文字提取方法，其特征在于，在根據字段的中心點橫坐標確定每一字段在對應行中的排序之后，還包括：

根據同一行中相鄰字段的中心點橫坐標差值，基于聚類算法對同一行中的字段進行聚類，并將字段數目最多的類別作為第一基準類別；

計算所述第一基準類別中各中心點橫坐標差值的平均值，獲得第一平均值，并將所述第一平均值作為對應行的列寬；

逐一判斷各相鄰字段的中心點橫坐標差值是否大于對應行的列寬，若是，則在兩相鄰字段之間填充第一預設字符。

5.如權利要求4所述的票據圖像的文字提取方法，其特征在于，在根據字段的中心點縱坐標確定每一字段在對應列中的排序之后，還包括：

根據同一列中相鄰字段的中心點縱坐標差值，基于聚類算法對同一列中的字段進行聚類，并將字段數目最多的類別作為第二基準類別；

計算所述第二基準類別中各中心點縱坐標差值的平均值，獲得第二平均值，并將所述第二平均值作為對應列的行高；

逐一判斷各相鄰字段的中心點縱坐標差值是否大于對應列的行高，若是，則在兩相鄰字段之間填充第二預設字符。

6.如權利要求5所述的票據圖像的文字提取方法，其特征在于，根據每一行的行序、每一列的列序、每一字段在對應行中的排序以及每一字段在對應列中的排序進行排版，并按排版后版面格式將各字段進行輸出，包括：

根據每一行的行序、每一列的列序、每一字段在對應行中的排序、每一字段在對應列中的排序、每一行中的第一預設填充字符以及每一列中的第二預設填充字符進行排版，并按排版后版面格式將各字段、各第一預設填充字段以及各第二預設填充字符進行輸出。

7.如權利要求6所述的票據圖像的文字提取方法，其特征在于，按排版后版面格式將各字段、各第一預設填充字段以及各第二預設填充字符進行輸出，包括：

按排版后的版面格式以json格式或者excel文件格式將各字段、各第一預設填充字段以及各第二預設填充字符進行輸出。