[發明專利]一種RPA流程視頻關鍵幀抽取和元素定位方法

在審

• 申請號: 202210947531.6
• 申請日: 2022-08-09
• 公開（公告）號: CN115033740A
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 趙詩云
• 申請（專利權）人: 杭州實在智能科技有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06F16/78;G06F3/04845;G06F3/0487
• 代理公司: 杭州云睿專利代理事務所(普通合伙) 33254
• 代理人: 張驍敏

1.一種RPA流程視頻關鍵幀抽取和元素定位方法，其特征在于，包括以下步驟：

步驟1：獲取流程視頻及其對應的鍵鼠操作動作日志，流程視頻和鍵鼠操作動作日志均攜帶有時間戳信息；

步驟2：根據時間戳信息進行流程視頻和鍵鼠操作動作日志的視動對齊；

步驟3：根據鍵鼠操作動作日志對流程視頻進行關鍵幀抽取，獲得至少一張關鍵幀圖像；

步驟4：對關鍵幀圖像進行頁面解析和鼠標位置定位得到頁面元素和鼠標的位置信息；

步驟5：根據關鍵幀圖像的頁面元素、鼠標的位置信息和鍵鼠操作動作日志得到任意時刻的鍵鼠動作、操作元素對象和鍵盤輸入內容中的任一個或多個樣本信息；

步驟6：按時間順序將樣本信息串聯生成RPA流程腳本。

2.根據權利要求1的一種RPA流程視頻關鍵幀抽取和元素定位方法，其特征在于，根據鍵鼠操作動作日志對流程視頻進行關鍵幀抽取，獲得至少一張關鍵幀圖像的步驟具體包括：

步驟31：獲取動作日志內每個鍵鼠操作動作對應的時間，根據時間將流程視頻分割成多段子視頻；

步驟32：對子視頻進行逐幀分析，以每段子視頻的起始幀為基準，計算之后的每幀圖像與基準幀圖像的相似度評價值；

步驟33：若相似度評價值不大于閾值時，則表示兩幀之間的差異過大，當前幀圖像為關鍵幀圖像，記錄下該關鍵幀圖像和與其對應的鍵鼠操作動作及時間戳，并將當前幀圖像作為新的基準，計算后面幀圖像與該新的基準幀圖像的相似度評價值，并繼續記錄差異過大的關鍵幀圖像、鍵鼠操作動作及時間戳，直到遍歷完整個子視頻；

步驟34:針對下一個子視頻重復執行步驟32至步驟33，直到遍歷完整個流程視頻。

3.根據權利要求2的一種RPA流程視頻關鍵幀抽取和元素定位方法，其特征在于，計算相似度評價值包括：

對子視頻中的兩幀圖像進行PSNR和SSIM計算；

其中，通過公式進行PSNR計算，式中，，H和W分別表示子視頻內兩張圖像的高度和寬度，n為每個像素的比特數，MSE表示兩張圖像逐個像素點的灰度均方誤差；

通過公式進行SSIM計算，式中，，，，和分別表示子視頻內兩張圖像的均值，和表示兩張圖像的方差，表示兩張圖像間的協方差，C1、C2和C3均為常數；

其中，PSNR和SSIM值共同組成相似度評價值，PSNR和SSIM均大于閾值時表示相似度評價值大于閾值，否則表示相似度評價值不大于閾值。

4.根據權利要求1的一種RPA流程視頻關鍵幀抽取和元素定位方法，其特征在于，對關鍵幀圖像進行頁面解析和鼠標位置定位得到頁面元素和鼠標的位置信息的步驟具體包括：

通過深度目標檢測網絡對關鍵幀圖像中的圖標元素進行檢測和定位，得到圖標元素在關鍵幀圖像上的位置和類別，其中，類別包括鼠標類別；

通過文字檢測和文字識別，得到文字元素在關鍵幀圖像上的位置及文字內容。