[發明專利]一種RPA流程視頻關鍵幀抽取和元素定位方法

在審

• 申請號: 202210947531.6
• 申請日: 2022-08-09
• 公開（公告）號: CN115033740A
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 趙詩云
• 申請（專利權）人: 杭州實在智能科技有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06F16/78;G06F3/04845;G06F3/0487
• 代理公司: 杭州云睿專利代理事務所(普通合伙) 33254
• 代理人: 張驍敏

本發明公開了一種RPA流程視頻關鍵幀抽取和元素定位方法，獲取流程視頻及其對應的鍵鼠操作動作日志，流程視頻和鍵鼠操作動作日志均攜帶有時間戳信息；根據時間戳信息進行流程視頻和鍵鼠操作動作日志的視動對齊；根據鍵鼠操作動作日志對流程視頻進行關鍵幀抽取，獲得至少一張關鍵幀圖像；對關鍵幀圖像進行頁面解析和鼠標位置定位得到頁面元素和鼠標的位置信息；根據關鍵幀圖像的頁面元素、鼠標的位置信息和鍵鼠操作動作日志得到任意時刻的鍵鼠動作、操作元素對象和鍵盤輸入內容；按時間順序將樣本信息串聯生成RPA流程腳本，能夠將抽取到的關鍵幀進行全面、準確的信息解析和對象檢測。

技術領域

本發明涉及頁面元素定位技術領域，特別涉及一種RPA流程視頻關鍵幀抽取和元素定位方法。

背景技術

機器人流程自動化（Robotic Process Automation，RPA）是一種計算機軟件自動化技術，RPA流程生成技術是指通過RPA軟件自帶的能力自動地生成RPA流程的技術，其中，通過業務操作視頻來還原和自動生成RPA流程是RPA流程生成技術中一種新的趨勢，在這種技術中，需要通過關鍵幀抽取技術獲取業務操作視頻的關鍵幀和通過元素定位技術在關鍵幀中還原每次操作對應的界面元素，現有的RPA流程視頻關鍵幀抽取和元素定位技術存在以下缺點：

1、對業務操作視頻的關鍵幀抽取低效且容易出錯；

無論是基于鏡頭、運動分析還是視頻聚類的現有關鍵幀抽取技術，在面對RPA領域的業務操作視頻時均不能很好適用，原因在于：真實業務場景中往往需要橫跨多個系統進行業務操作和數據遷移，因此業務人員錄制的操作視頻往往會在不同頁面中來回切換，導致整個視頻的場景變化非常劇烈，且內容主題并不固定，因此基于鏡頭和運動分析的關鍵幀抽取技術效果較差，并且考慮到作為在線功能提供用戶使用，對方法的時間開銷有比較嚴格的要求，復雜的光流計算等過程可能會導致耗時較高；另一方面在真實場景中，操作步驟并不固定，因此無法在抽取之前確定視頻主題的個數，這會導致基于視頻聚類的方法失效。

2、靜態頁面的目標元素檢測方式不適用于視頻中操作元素的定位

現有RPA目標元素定位方式，采用基于深度神經網絡的方式將按鈕等元素的定位問題轉變為頁面目標的檢測或分割問題。然而當前無論是將目標元素作為一個對象利用檢測框進行定位和調整，還是對整個頁面進行前景背景分割來區分元素和非元素，都僅僅是對靜態頁面的信息進行提取，換言之是對每一幅抽取出的關鍵幀進行割裂的、沒有針對性的頁面分析，而對于業務人員具體操作了哪個元素，先后順序是什么則完全無法獲知。

發明內容

針對現有技術存在的不足，本發明的目的在于提供一種RPA流程視頻關鍵幀抽取和元素定位方法，以解決現有技術中關鍵幀提取低效和頁面元素定位不準確的問題，為后續的RPA自動流程生成提供了先決條件。

本發明的上述技術目的是通過以下技術方案得以實現的：

第一方面，一種RPA流程視頻關鍵幀抽取和元素定位方法，包括以下步驟：

步驟1：獲取流程視頻及其對應的鍵鼠操作動作日志，流程視頻和鍵鼠操作動作日志均攜帶有時間戳信息；

步驟2：根據時間戳信息進行流程視頻和鍵鼠操作動作日志的視動對齊；

步驟3：根據鍵鼠操作動作日志對流程視頻進行關鍵幀抽取，獲得至少一張關鍵幀圖像；

步驟4：對關鍵幀圖像進行頁面解析和鼠標位置定位得到頁面元素和鼠標的位置信息；

步驟5：根據關鍵幀圖像的頁面元素、鼠標的位置信息和鍵鼠操作動作日志得到任意時刻的鍵鼠動作、操作元素對象和鍵盤輸入內容中的任一個或多個樣本信息；

步驟6：按時間順序將樣本信息串聯生成RPA流程腳本。

進一步的，根據鍵鼠操作動作日志對流程視頻進行關鍵幀抽取，獲得至少一張關鍵幀圖像的步驟具體包括：

步驟31：獲取動作日志內每個鍵鼠操作動作對應的時間，根據時間將流程視頻分割成多段子視頻；