[發(fā)明專利]RPA元素拾取同屏切換方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202210376523.0
• 申請日: 2022-04-12
• 公開（公告）號: CN114461122B
• 公開（公告）日: 2022-07-19
• 發(fā)明（設(shè)計）人: 歐陽小剛;孫林君
• 申請（專利權(quán)）人: 杭州實在智能科技有限公司
• 主分類號: G06F3/04845
• 分類號: G06F3/04845;G06F3/0481;G06F3/0354;G06F9/451;G06F3/04842
• 代理公司: 浙江永鼎律師事務(wù)所 33233
• 代理人: 周希良

1.RPA元素拾取同屏切換方法，其特征在于，包括如下步驟；

S1，用戶根據(jù)提示選擇元素拾取方式；

S2，用戶將鼠標移至特定的軟件界面；

S3，通過窗口句柄的方式獲取界面相關(guān)信息和界面截圖，并將界面相關(guān)信息和界面截圖進行傳送和解析；

S4，對界面截圖進行轉(zhuǎn)發(fā)，并判斷是否超過指定的時間T；若不超時則繼續(xù)等待算法結(jié)果返回；若超時則返回步驟S2并給用戶對應(yīng)提示進行重新選擇；

S5，界面截圖由經(jīng)過優(yōu)化的深度學(xué)習(xí)目標檢測模型進行算法解析處理,獲得算法解析結(jié)果；

S6，將獲得的算法解析結(jié)果經(jīng)過封裝后，以蒙層的方式在軟件界面上展示，供用戶選擇要拾取的元素；

S7，判斷用戶的操作模式，若是熱鍵+鼠標點擊，則表示用戶要選中對應(yīng)元素，并進行下一步驟；若否，則表示用戶僅正常操作頁面并返回步驟S2；

S8，用戶選中對應(yīng)元素后，再次高亮展示所拾取的元素，用戶確認無誤后完成拾取；

步驟S4包括如下步驟：

S41，獲取并轉(zhuǎn)發(fā)界面截圖，并判斷轉(zhuǎn)發(fā)時間是否超過指定的時間T；若超時，則丟棄當前界面截圖并重新計時；若不超過，則對界面截圖進行算法解析計算；

步驟S5包括如下步驟：

S51，判斷對界面截圖進行算法解析計算的時間是否超過指定的時間T；若超時，則丟棄當前算法解析計算結(jié)果并重新計時；若不超過，則返回算法解析計算結(jié)果；

步驟S5中，所述深度學(xué)習(xí)目標檢測模型采用二階段或一階段目標檢測網(wǎng)絡(luò)；所述深度學(xué)習(xí)目標檢測模型的優(yōu)化具體為：

將大計算量的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)進行重新調(diào)整或使用輕量級的網(wǎng)絡(luò)進行結(jié)果擬合，并對網(wǎng)絡(luò)中的浮點型操作轉(zhuǎn)化為整數(shù)型操作。

2.根據(jù)權(quán)利要求1所述的RPA元素拾取同屏切換方法，其特征在于，步驟S1中，所述元素拾取方式包括普通拾取和智能拾取；

所述普通拾取為基于操作系統(tǒng)指令和源碼解析的拾取方式；

所述智能拾取為基于深度學(xué)習(xí)的CV拾取方式。

3.根據(jù)權(quán)利要求1所述的RPA元素拾取同屏切換方法，其特征在于，步驟S3包括如下步驟：

S31，根據(jù)鼠標移動的位置，獲取當前用戶所要進一步操作的軟件界面，并通過當前軟件界面的窗口句柄，映射到具體窗體對象，獲得窗體的詳細信息；

其中，所述窗體的詳細信息包括窗體位置、圖標和菜單；

S32，對當前軟件界面進行截圖，并獲取界面截圖圖像，傳遞界面截圖圖像并返回算法解析結(jié)果。

4.RPA元素拾取同屏切換系統(tǒng)，用于實現(xiàn)權(quán)利要求1-3任一項所述的RPA元素拾取同屏切換方法，其特征在于，所述RPA元素拾取同屏切換系統(tǒng)包括；

前端展示模塊，用于作為切換元素拾取方法的展示載體；用于對當前軟件界面進行截圖；用于對算法解析后的結(jié)果在當前軟件界面進行展示；

后端處理模塊，用于通過窗口句柄的方式獲取界面相關(guān)信息和界面截圖；用于將整個持續(xù)的元素拾取過程，分片為長度為T的小段；用于將獲得的算法解析結(jié)果經(jīng)過封裝后，以蒙層的方式在軟件界面上展示；用于判斷用戶是正常操作頁面還是拾取元素；用于完成算法服務(wù)初始化和模型鑒權(quán)功能；

算法推理模塊，用于對深度學(xué)習(xí)目標檢測模型進行優(yōu)化；用于對軟件界面截圖實現(xiàn)轉(zhuǎn)發(fā)，并對軟件界面截圖進行解析，將獲得算法解析結(jié)果發(fā)送給后端處理模塊；用于完成校驗功能。

5.根據(jù)權(quán)利要求4所述的RPA元素拾取同屏切換系統(tǒng)，其特征在于，所述前端展示模塊包括：

浮窗選擇器，用于作為切換元素拾取方法的展示載體；

窗口界面截圖模塊，用于對當前軟件界面進行截圖；

解析結(jié)果蒙層繪制模塊，用于對算法解析后的結(jié)果在當前軟件界面進行展示。