[發(fā)明專利]一種基于文字識別的自動化流程實現(xiàn)方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111321552.9
• 申請日: 2021-11-09
• 公開（公告）號: CN114066402A
• 公開（公告）日: 2022-02-18
• 發(fā)明（設計）人: 申連騰;李哲;張鑫;李凌;翟天一;黃天航;底曉夢;賈強
• 申請（專利權(quán)）人: 中國電力科學研究院有限公司
• 主分類號: G06Q10/10
• 分類號: G06Q10/10;G06V10/22;G06V20/62;G06V10/26;G06V30/148;G06V10/774;G06V30/19;G06V10/764;G06K9/62
• 代理公司: 北京中巡通大知識產(chǎn)權(quán)代理有限公司 11703
• 代理人: 孟大帥

本發(fā)明公開了一種基于文字識別的自動化流程實現(xiàn)方法及系統(tǒng)，所述方法包括以下步驟：獲取待執(zhí)行腳本；按照預設執(zhí)行模式執(zhí)行所述待執(zhí)行腳本，完成自動化流程實現(xiàn)；其中，執(zhí)行所述待執(zhí)行腳本時：基于預訓練好的文字識別定位模型識別定位界面執(zhí)行對象，并對界面執(zhí)行對象進行相應操作；以腳本當前步驟操作的實際結(jié)果與預設結(jié)果的比較判定結(jié)果，作為是否執(zhí)行腳本下一步驟的判據(jù)。本發(fā)明提供的技術(shù)方案中，基于文字識別技術(shù)來識別軟件界面的文字進而實現(xiàn)自動化執(zhí)行操作，能夠解決目前現(xiàn)有自動化流程執(zhí)行方法尚存在的技術(shù)缺陷。

技術(shù)領(lǐng)域

本發(fā)明屬于自動化流程實現(xiàn)技術(shù)領(lǐng)域，特別涉及一種基于文字識別的自動化流程實現(xiàn)方法及系統(tǒng)。

背景技術(shù)

目前，主要存在兩類自動化流程執(zhí)行方法，分別是傳統(tǒng)自動化執(zhí)行方法與基于人工智能識別的自動化流程執(zhí)行方法。其中，傳統(tǒng)自動化執(zhí)行方法包括基于數(shù)據(jù)驅(qū)動的自動化流程執(zhí)行方法、基于關(guān)鍵字驅(qū)動的自動化流程執(zhí)行方法和基于領(lǐng)域驅(qū)動的自動化執(zhí)行方法，以上三種傳統(tǒng)方法基本都是依靠對界面元素名稱的記錄，并通過自動執(zhí)行時對該名稱的查找，實現(xiàn)相關(guān)頁面元素的搜尋與定位。

基于現(xiàn)有技術(shù)分析可知，現(xiàn)有傳統(tǒng)自動化流程執(zhí)行方法存在一些技術(shù)缺陷，具體包括：腳本無法直接編輯，需要錄制，且腳本維護費時費力；在軟件界面發(fā)生名稱變化、標識變化等情況時，需要花費較大的成本；在不同的操作系統(tǒng)、硬件架構(gòu)上，兼容性較差；工作質(zhì)量由操作者的經(jīng)驗決定，穩(wěn)定可靠性較差。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于文字識別的自動化流程實現(xiàn)方法及系統(tǒng)，以解決上述存在的一個或多個技術(shù)問題。本發(fā)明提供的技術(shù)方案中，基于文字識別技術(shù)來識別軟件界面的文字進而實現(xiàn)自動化執(zhí)行操作，能夠解決目前現(xiàn)有自動化流程執(zhí)行方法尚存在的技術(shù)缺陷。

為達到上述目的，本發(fā)明采用以下技術(shù)方案：

本發(fā)明的一種基于文字識別的自動化流程實現(xiàn)方法，包括以下步驟：

獲取待執(zhí)行腳本；

按照預設執(zhí)行模式執(zhí)行所述待執(zhí)行腳本，完成自動化流程實現(xiàn)；其中，執(zhí)行所述待執(zhí)行腳本時：基于預訓練好的文字識別定位模型識別定位界面執(zhí)行對象，并對界面執(zhí)行對象進行相應操作；以腳本當前步驟操作的實際結(jié)果與預設結(jié)果的比較判定結(jié)果，作為是否執(zhí)行腳本下一步驟的判據(jù)。

本發(fā)明的進一步改進在于，所述預訓練好的文字識別定位模型的獲取步驟包括：

基于預設文字識別范圍，獲取標注后的訓練樣本集；

基于獲得的標注后的訓練樣本集，對paddle進行訓練，獲得訓練后的文字識別定位模型；

測試所述訓練后的文字識別定位模型，對識別錯誤的樣本數(shù)據(jù)采用更新標注再次加入訓練樣本集的方式迭代優(yōu)化，獲得預訓練好的文字識別定位模型。

本發(fā)明的進一步改進在于，所述預設執(zhí)行模式為預設初級自動化模式；

所述預設初級自動化模式中，每個當前步驟執(zhí)行結(jié)束后，獲取外部輸入的執(zhí)行結(jié)果比對、正確性判斷數(shù)據(jù)；當所述外部輸入的結(jié)果比對、正確性判斷數(shù)據(jù)符合預設要求時，執(zhí)行當前步驟的下一步驟，否則停止執(zhí)行當前步驟的下一步驟。

本發(fā)明的進一步改進在于，所述預設執(zhí)行模式為預設半自動化模式；

所述預設半自動化模式中，每個當前步驟執(zhí)行結(jié)束后，將執(zhí)行結(jié)果進行文字識別，并與預設期待結(jié)果進行比對，獲得比對結(jié)果；獲取外部輸入的基于比對結(jié)果獲取的正確性判斷數(shù)據(jù)；當所述正確性判斷數(shù)據(jù)符合預設要求時，執(zhí)行當前步驟的下一步驟，否則停止執(zhí)行當前步驟的下一步驟。

本發(fā)明的進一步改進在于，所述預設執(zhí)行模式為預設完全自動化模式；