[發明專利]結合RPA和AI的圖像文字的提取方法、裝置及電子設備

在審

• 申請號: 202010886737.3
• 申請日: 2020-08-28
• 公開（公告）號: CN112149663A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 汪冠春;胡一川;褚瑞;李瑋;田艷莉;王建周
• 申請（專利權）人: 北京來也網絡科技有限公司;北京奔影網絡科技有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06N3/04;G06T7/187
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

1.一種結合RPA和AI的圖像文字的提取方法，其特征在于，包括：

對待處理圖像進行目標檢測，以確定所述待處理圖像中包含的各個檢測框的位置信息及每個所述檢測框的類型，其中，所述每個檢測框的類型包括：字符、非字符、文本行開頭及文本行結尾；

根據每個所述檢測框的位置信息及每個所述檢測框的類型，將類型為字符的檢測框進行合并，以確定所述待處理圖像中包含的各文本框；

對每個所述文本框進行文字識別，以確定所述待處理圖像中包含的文字。

2.如權利要求1所述的方法，其特征在于，所述對待處理圖像進行目標檢測，以確定所述待處理圖像中包含的各個檢測框的位置信息及每個所述檢測框的類型，具體包括：

從所述待處理圖像中分別提取每個所述檢測框的多個維度特征；

對所述多個維度特征進行注意力機制學習，以獲取每個所述檢測框的相鄰框信息及每個所述檢測框對應的文本行首尾信息；

根據每個所述檢測框的相鄰框信息及對應的文本行首尾信息，確定每個所述檢測框的類型。

3.如權利要求2所述的方法，其特征在于，在所述從所述待處理圖像中分別提取每個所述檢測框的多個維度特征之前，還包括：

對所述待處理圖像進行預處理，以獲取所述待處理圖像對應多個特征圖；

所述從所述待處理圖像中分別提取每個所述檢測框的多個維度特征，具體包括：

從所述多個特征圖中分別提取每個所述檢測框的多個維度特征。

4.如權利要求2所述的方法，其特征在于，所述從所述待處理圖像中分別提取每個所述檢測框的多個維度特征，具體包括：

利用至少兩個過濾器對所述待處理圖像進行卷積處理，以獲取每個所述檢測框的至少兩個維度特征，其中，所述至少兩個過濾器的感受野不同。

5.如權利要求2所述的方法，其特征在于，在所述對所述多個維度特征進行注意力機制學習，以獲取每個所述檢測框的相鄰框信息及每個所述檢測框對應的文本行首尾信息之前，還包括：

將所述多個維度特征進行拼接，以生成每個所述檢測框的特征。

6.如權利要求2-5任一所述的方法，其特征在于，在所述對所述多個維度特征進行注意力機制學習，以獲取每個所述檢測框的相鄰框信息及每個所述檢測框對應的文本行首尾信息之前，還包括：

對所述多個維度特征進行歸一化處理。

7.如權利要求1-5任一所述的方法，其特征在于，每個所述檢測框的位置信息，包括每個所述檢測框在第一方向的坐標及在第二方向的偏移量，所述根據每個所述檢測框的位置信息及每個所述檢測框的類型，將類型為字符的檢測框進行合并，以確定所述待處理圖像中包含的各文本框，具體包括：

如果任一檢測框的類型為文本行開頭，則根據所述任一檢測框在所述第一方向的第一坐標，從所述各個檢測框中獲取與在第一方向的第二坐標與所述第一坐標匹配的候選檢測框；

根據所述任一檢測框在第二方向的第一偏移量，從所述候選檢測框中獲取在所述第二方向上與所述任一檢測框相鄰的相鄰檢測框；

如果所述相鄰檢測框的類型為字符，則將所述相鄰檢測框與所述任一檢測框進行合并。

8.如權利要求1-5任一所述的方法，其特征在于，在所述根據每個所述檢測框的位置信息及每個所述檢測框的類型，將類型為字符的檢測框進行合并，以確定所述待處理圖像中包含的各文本框之后，還包括：

對每個所述文本框進行連通域分析，以確定每個所述文本框對應的連通域形狀；

如果任一文本框對應的連通域形狀為圓形，則確定所述任一文本框內包含紅章。