[發明專利]結合RPA和AI的圖像文字的提取方法、裝置及電子設備

在審

• 申請號: 202010886737.3
• 申請日: 2020-08-28
• 公開（公告）號: CN112149663A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 汪冠春;胡一川;褚瑞;李瑋;田艷莉;王建周
• 申請（專利權）人: 北京來也網絡科技有限公司;北京奔影網絡科技有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06N3/04;G06T7/187
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

本申請提出一種結合RPA和AI的圖像文字的提取方法、裝置、電子設備及存儲介質，屬于圖像處理技術領域。其中，該方法包括：對待處理圖像進行目標檢測，以確定待處理圖像中包含的各個檢測框的位置信息及每個檢測框的類型，其中，每個檢測框的類型包括：字符、非字符、文本行開頭及文本行結尾；根據每個檢測框的位置信息及每個檢測框的類型，將類型為字符的檢測框進行合并，以確定待處理圖像中包含的各文本框；對每個文本框進行文字識別，以確定待處理圖像中包含的文字。由此，通過這種結合RPA和AI的圖像文字的提取方法，通過一次檢測即可確定出圖像中不同類型的數據內容，從而簡化了圖像文字提取的過程，提升了文字提取的效率。

技術領域

本申請涉及自動化技術領域，尤其涉及一種結合RPA和AI的圖像文字的提取方法、裝置、電子設備及存儲介質。

背景技術

機器人流程自動化(Robotic Process Automation，簡稱RPA)，是通過特定的“機器人軟件”，模擬人在計算機上的操作，按規則自動執行流程任務。

人工智能(Artificial Intelligence，簡稱AI)是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門技術科學。

隨著AI的發展，光學字符識別(Optical Character Recognition，簡稱OCR)技術已經深入各個領域幫助人們減輕重復的低效工作，特別是需要將文本信息轉錄到電腦的工作。RPA技術與OCR技術的結合已成為RPA領域的新趨勢，以幫助企業更高效的處理文字圖像數據，提高工作效率。

但是，相關技術中，對于包括文本、表格、紅章等多種類型內容的文檔，通常需要多個模型分別依次對不同類型的內容進行文字提取，從而導致文字提取的過程繁瑣，效率低。

發明內容

本申請提出的結合RPA和AI的圖像文字的提取方法、裝置、電子設備及存儲介質，用于解決相關技術中，對于包括文本、表格、紅章等多種類型內容的文檔，通常需要多個模型分別依次對不同類型的內容進行文字提取，從而導致文字提取的過程繁瑣，效率低的問題。

本申請一方面實施例提出的結合RPA和AI的圖像文字的提取方法，包括：對待處理圖像進行目標檢測，以確定所述待處理圖像中包含的各個檢測框的位置信息及每個所述檢測框的類型，其中，所述每個檢測框的類型包括：字符、非字符、文本行開頭及文本行結尾；根據每個所述檢測框的位置信息及每個所述檢測框的類型，將類型為字符的檢測框進行合并，以確定所述待處理圖像中包含的各文本框；對每個所述文本框進行文字識別，以確定所述待處理圖像中包含的文字。

可選的，在本申請第一方面實施例一種可能的實現方式中，所述對待處理圖像進行目標檢測，以確定所述待處理圖像中包含的各個檢測框的位置信息及每個所述檢測框的類型，具體包括：

從所述待處理圖像中分別提取每個所述檢測框的多個維度特征；

對所述多個維度特征進行注意力機制學習，以獲取每個所述檢測框的相鄰框信息及每個所述檢測框對應的文本行首尾信息；

根據每個所述檢測框的相鄰框信息及對應的文本行首尾信息，確定每個所述檢測框的類型。

可選的，在本申請第一方面實施例另一種可能的實現方式中，在所述從所述待處理圖像中分別提取每個所述檢測框的多個維度特征之前，還包括：

對所述待處理圖像進行預處理，以獲取所述待處理圖像對應多個特征圖；

所述從所述待處理圖像中分別提取每個所述檢測框的多個維度特征，具體包括：

從所述多個特征圖中分別提取每個所述檢測框的多個維度特征。

可選的，在本申請第一方面實施例再一種可能的實現方式中，所述從所述待處理圖像中分別提取每個所述檢測框的多個維度特征，具體包括：