[發明專利]基于AI和RPA的文件標注方法、裝置、設備和介質

在審

• 申請號: 202111021971.0
• 申請日: 2021-09-01
• 公開（公告）號: CN113836090A
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 楊子杰;汪冠春;胡一川;褚瑞;李瑋
• 申請（專利權）人: 北京來也網絡科技有限公司;來也科技（北京）有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/17;G06K9/32
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅嵐

本公開提出一種基于AI和RPA的文件標注方法、裝置、設備和介質，涉及AI和RPA領域，其中，方法包括：RPA系統獲取文件標注請求；RPA系統響應于文件標注請求，生成與文件標注請求對應的響應結果；RPA系統根據所述響應結果，繪制待標注文件對應的目標圖片；RPA系統響應于鼠標事件，確定目標圖片中的文本標注的區域范圍；RPA系統根據對待標注文件進行光學字符識別OCR所獲取的第一文本信息和第一文本信息的各個文本片段對應的位置信息，確定區域范圍內的文本標注結果。由此，可實現圖片中文本信息的提取以及文本中不連續文字的選擇，同時可獲取到標注的區域范圍內的文本信息以及文本信息中文本片段的位置信息，可滿足模型訓練的需求。

技術領域

本公開涉及人工智能(Artificial Intelligence，簡稱AI)和機器人流程自動化(Robotic Process Automation，簡稱RPA)領域，尤其涉及一種基于AI和RPA的文件標注方法、裝置、設備和介質。

背景技術

RPA是通過特定的“機器人軟件”，模擬人在計算機上的操作，按規則自動執行流程任務。

AI是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門技術科學。

隨著RPA的普及，越來越多的企業使用RPA幫助員工完成重復的勞動，但是在模型的訓練過程中，依然需要大量的人工對文件進行標注，以獲取訓練數據。比如，通過大量的人工標注PDF文件或圖片獲取訓練數據，對文檔結構信息和視覺信息進行建模，如，通用文檔預訓練模型LayoutLM，讓模型在預訓練階段進行多模態對齊。

然而上述的文件標注方式，無法選擇不連續的文字和提取圖片上的文字，不包含文字在文檔中的位置信息，無法滿足模型訓練的需求。

發明內容

本公開旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本公開提出一種基于AI和RPA的文件標注方法、裝置、設備和介質，以實現RPA系統通過確定目標圖片中的文本標注區域范圍，以及區域范圍內的文本標注結果，實現了圖片中文本信息的提取以及文本中不連續文字的選擇，同時可獲取到標注的區域范圍內的文本信息以及文本信息中文本片段的位置信息，可滿足模型訓練的需求。

本公開第一方面實施例提出了一種基于AI和RPA的文件標注方法，包括：RPA系統獲取文件標注請求；其中，所述文件標注請求用于對待標注文件進行標注；所述RPA系統響應于所述文件標注請求，生成與所述文件標注請求對應的響應結果；所述RPA系統根據所述響應結果，繪制所述待標注文件對應的目標圖片；所述RPA系統響應于鼠標事件，確定所述目標圖片中的文本標注的區域范圍；所述RPA系統根據對所述待標注文件進行光學字符識別OCR所獲取的第一文本信息和所述第一文本信息的各個文本片段對應的位置信息，確定所述區域范圍內的文本標注結果。

本公開第二方面實施例提出了一種基于AI和RPA的文件標注裝置，所述文件標注裝置應用與RPA系統，包括：獲取模塊，用于獲取文件標注請求；其中，所述文件標注請求用于對待標注文件進行標注；生成模塊，用于響應于所述文件標注請求，生成與所述文件標注請求對應的響應結果；繪制模塊，用于根據所述響應結果，繪制所述待標注文件對應的目標圖片；第一確定模塊，用于響應于鼠標事件，確定所述目標圖片中的文本標注的區域范圍；第二確定模塊，用于根據對所述待標注文件進行光學字符識別OCR所獲取的第一文本信息和所述第一文本信息的各個文本片段對應的位置信息，確定所述區域范圍內的文本標注結果。

本公開第三方面實施例提出了一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述計算機程序時，實現如本公開上述第一方面實施例所述的方法。

本公開第四方面實施例提出了一種非臨時性計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如本公開上述第一方面實施例所述的方法。