[發(fā)明專利]一種基于文字識別的自動化流程實(shí)現(xiàn)方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111321552.9
• 申請日: 2021-11-09
• 公開（公告）號: CN114066402A
• 公開（公告）日: 2022-02-18
• 發(fā)明（設(shè)計）人: 申連騰;李哲;張鑫;李凌;翟天一;黃天航;底曉夢;賈強(qiáng)
• 申請（專利權(quán)）人: 中國電力科學(xué)研究院有限公司
• 主分類號: G06Q10/10
• 分類號: G06Q10/10;G06V10/22;G06V20/62;G06V10/26;G06V30/148;G06V10/774;G06V30/19;G06V10/764;G06K9/62
• 代理公司: 北京中巡通大知識產(chǎn)權(quán)代理有限公司 11703
• 代理人: 孟大帥

1.一種基于文字識別的自動化流程實(shí)現(xiàn)方法，其特征在于，包括以下步驟：

獲取待執(zhí)行腳本；

按照預(yù)設(shè)執(zhí)行模式執(zhí)行所述待執(zhí)行腳本，完成自動化流程實(shí)現(xiàn)；其中，執(zhí)行所述待執(zhí)行腳本時：基于預(yù)訓(xùn)練好的文字識別定位模型識別定位界面執(zhí)行對象，并對界面執(zhí)行對象進(jìn)行相應(yīng)操作；以腳本當(dāng)前步驟操作的實(shí)際結(jié)果與預(yù)設(shè)結(jié)果的比較判定結(jié)果，作為是否執(zhí)行腳本下一步驟的判據(jù)。

2.根據(jù)權(quán)利要求1所述的一種基于文字識別的自動化流程實(shí)現(xiàn)方法，其特征在于，所述預(yù)訓(xùn)練好的文字識別定位模型的獲取步驟包括：

基于預(yù)設(shè)文字識別范圍，獲取標(biāo)注后的訓(xùn)練樣本集；

基于獲得的標(biāo)注后的訓(xùn)練樣本集，對paddle進(jìn)行訓(xùn)練，獲得訓(xùn)練后的文字識別定位模型；

測試所述訓(xùn)練后的文字識別定位模型，對識別錯誤的樣本數(shù)據(jù)采用更新標(biāo)注再次加入訓(xùn)練樣本集的方式進(jìn)行迭代優(yōu)化，獲得預(yù)訓(xùn)練好的文字識別定位模型。

3.根據(jù)權(quán)利要求1所述的一種基于文字識別的自動化流程實(shí)現(xiàn)方法，其特征在于，所述預(yù)設(shè)執(zhí)行模式為預(yù)設(shè)初級自動化模式；

所述預(yù)設(shè)初級自動化模式中，每個當(dāng)前步驟執(zhí)行結(jié)束后，獲取外部輸入的執(zhí)行結(jié)果比對、正確性判斷數(shù)據(jù)；當(dāng)所述外部輸入的結(jié)果比對、正確性判斷數(shù)據(jù)符合預(yù)設(shè)要求時，執(zhí)行當(dāng)前步驟的下一步驟，否則停止執(zhí)行當(dāng)前步驟的下一步驟。

4.根據(jù)權(quán)利要求1所述的一種基于文字識別的自動化流程實(shí)現(xiàn)方法，其特征在于，所述預(yù)設(shè)執(zhí)行模式為預(yù)設(shè)半自動化模式；

所述預(yù)設(shè)半自動化模式中，每個當(dāng)前步驟執(zhí)行結(jié)束后，將執(zhí)行結(jié)果進(jìn)行文字識別，并與預(yù)設(shè)期待結(jié)果進(jìn)行比對，獲得比對結(jié)果；獲取外部輸入的基于比對結(jié)果獲取的正確性判斷數(shù)據(jù)；當(dāng)所述正確性判斷數(shù)據(jù)符合預(yù)設(shè)要求時，執(zhí)行當(dāng)前步驟的下一步驟，否則停止執(zhí)行當(dāng)前步驟的下一步驟。

5.根據(jù)權(quán)利要求1所述的一種基于文字識別的自動化流程實(shí)現(xiàn)方法，其特征在于，所述預(yù)設(shè)執(zhí)行模式為預(yù)設(shè)完全自動化模式；

所述預(yù)設(shè)完全自動化模式中，每個當(dāng)前步驟執(zhí)行結(jié)束后，將執(zhí)行結(jié)果進(jìn)行文字識別，并與預(yù)設(shè)期待結(jié)果進(jìn)行比對，獲得比對結(jié)果；將比對結(jié)果與預(yù)設(shè)閾值比較判定，獲得判定結(jié)果；當(dāng)所述判定結(jié)果符合預(yù)設(shè)要求時，執(zhí)行當(dāng)前步驟的下一步驟，否則停止執(zhí)行當(dāng)前步驟的下一步驟。

6.一種基于文字識別的自動化流程實(shí)現(xiàn)系統(tǒng)，其特征在于，包括：

獲取模塊，用于獲取待執(zhí)行腳本；

執(zhí)行模塊，用于按照預(yù)設(shè)執(zhí)行模式執(zhí)行所述待執(zhí)行腳本，完成自動化流程實(shí)現(xiàn)；其中，執(zhí)行所述待執(zhí)行腳本時：基于預(yù)訓(xùn)練好的文字識別定位模型識別定位界面執(zhí)行對象，并對界面執(zhí)行對象進(jìn)行相應(yīng)操作；以腳本當(dāng)前步驟操作的實(shí)際結(jié)果與預(yù)設(shè)結(jié)果的比較判定結(jié)果，作為是否執(zhí)行腳本下一步驟的判據(jù)。

7.根據(jù)權(quán)利要求6所述的一種基于文字識別的自動化流程實(shí)現(xiàn)系統(tǒng)，其特征在于，所述執(zhí)行模塊中，預(yù)訓(xùn)練好的文字識別定位模型的獲取步驟包括：

基于預(yù)設(shè)文字識別范圍，獲取標(biāo)注后的訓(xùn)練樣本集；

基于獲得的標(biāo)注后的訓(xùn)練樣本集，對paddle進(jìn)行訓(xùn)練，獲得訓(xùn)練后的文字識別定位模型；

測試所述訓(xùn)練后的文字識別定位模型，對識別錯誤的樣本數(shù)據(jù)采用更新標(biāo)注再次加入訓(xùn)練樣本集的方式進(jìn)行迭代優(yōu)化，獲得預(yù)訓(xùn)練好的文字識別定位模型。

8.根據(jù)權(quán)利要求6所述的一種基于文字識別的自動化流程實(shí)現(xiàn)系統(tǒng)，其特征在于，所述執(zhí)行模塊中，預(yù)設(shè)執(zhí)行模式為預(yù)設(shè)初級自動化模式；

所述預(yù)設(shè)初級自動化模式中，每個當(dāng)前步驟執(zhí)行結(jié)束后，獲取外部輸入的執(zhí)行結(jié)果比對、正確性判斷數(shù)據(jù)；當(dāng)所述外部輸入的結(jié)果比對、正確性判斷數(shù)據(jù)符合預(yù)設(shè)要求時，執(zhí)行當(dāng)前步驟的下一步驟，否則停止執(zhí)行當(dāng)前步驟的下一步驟。