[發(fā)明專利]操作腳本的生成方法、裝置、可讀介質(zhì)以及設備

有效

• 申請?zhí)枺?/td>: 202011580232.0
• 申請日: 2020-12-28
• 公開（公告）號: CN112578979B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設計）人: 戴路;倪海波
• 申請（專利權）人: 中國建設銀行股份有限公司
• 主分類號: G06F3/0487
• 分類號: G06F3/0487;G06F3/0481;G06F9/451;G06F18/214;G06N3/02;G06N3/08
• 代理公司: 北京集佳知識產(chǎn)權代理有限公司 11227
• 代理人: 李慧引

1.一種操作腳本的生成方法，其特征在于，包括：

在目標用戶執(zhí)行操作流程的過程中，采集所述操作流程中的界面圖像以及對應的時間戳，并采集所述操作流程中所述目標用戶的操作信息；所述目標用戶的操作信息指的是用于描述所述目標用戶在操作流程中執(zhí)行的操作的信息；所述操作信息，包括：多個操作動作、每一個所述操作動作對應的時間戳以及每一個所述操作動作對應的坐標；

將所述目標用戶的操作信息輸入至操作意圖識別模型中，識別得到所述操作流程中目標用戶對每一個待識別控件對象的操作意圖信息；其中，所述操作意圖識別模型通過多個用戶的操作信息、以及每一個所述用戶的實際操作意圖信息對神經(jīng)網(wǎng)絡模型進行訓練得到；所述每一個待識別控件對象的操作意圖信息用于說明所述目標用戶對所述待識別控件對象的操作目的；所述操作意圖信息并不關注在達到操作目的的過程中所執(zhí)行的重復性的操作的細節(jié)信息；所述待識別控件對象的操作意圖信息，包括：所述目標用戶對所述待識別控件對象的操作意圖動作、執(zhí)行所述操作意圖動作所對應的時間戳、以及執(zhí)行所述操作意圖動作所對應的坐標；

針對每一個所述待識別控件對象，利用所述待識別控件對象的操作意圖信息，從每一個所述界面圖像中的每一個控件對象中，匹配得到與所述待識別控件對象相對應的目標控件對象；

將所述目標控件對象與所述待識別控件對象的操作意圖信息進行關聯(lián)，得到所述目標控件對象對應的操作意圖信息；

利用每一個所述目標控件對象對應的操作意圖信息，生成所述操作流程對應的操作控制腳本；其中，所述操作控制腳本用于按照每一個所述目標控件對象對應的操作意圖信息的時間戳順序，分別利用每一個所述目標控件對象對應的操作意圖信息，識別定位到設備界面中的每一個所述目標控件對象，并對每一個所述目標控件對象執(zhí)行對應的操作意圖。

2.根據(jù)權利要求1所述的方法，其特征在于，所述針對每一個所述待識別控件對象，利用所述待識別控件對象的操作意圖信息，從每一個所述界面圖像中的每一個控件對象中，匹配得到與所述待識別控件對象相對應的目標控件對象，包括：

針對每一個所述待識別控件對象，利用所述待識別控件對象的操作意圖信息中的時間戳，從每一個所述界面圖像中，確定出與所述操作意圖信息中的時間戳相匹配的界面圖像；

利用所述待識別控件對象的操作意圖信息中的坐標，從所述相匹配的界面圖像的每一個控件對象中，確定出與操作意圖信息中的坐標相匹配的目標控件對象。

3.根據(jù)權利要求1所述的方法，其特征在于，所述操作意圖識別模型的創(chuàng)建方法，包括：

構建訓練數(shù)據(jù)集；其中，所述訓練數(shù)據(jù)集，包括：多個用戶的操作信息以及每一個所述用戶的實際操作意圖信息；

將所述訓練數(shù)據(jù)集中的每一個所述用戶的操作信息分別輸入至神經(jīng)網(wǎng)絡模型中，分別預測得到每一個所述用戶的操作意圖信息；

根據(jù)預測得到的每一個所述用戶的操作意圖信息和對應的所述實際操作意圖信息之間的誤差，對所述神經(jīng)網(wǎng)絡模型中的權值和閾值進行不斷調(diào)整，直至調(diào)整后的所述神經(jīng)網(wǎng)絡模型所得到的每一個所述用戶的操作意圖信息和對應的所述實際操作意圖信息之間的誤差滿足預設的收斂條件，將所述調(diào)整后的神經(jīng)網(wǎng)絡模型確定為操作意圖識別模型。

4.根據(jù)權利要求2所述的方法，其特征在于，所述利用所述待識別控件對象的操作意圖信息中的坐標，從所述相匹配的界面圖像的每一個控件對象中，確定出與操作意圖信息中的坐標相匹配的目標控件對象之前，還包括：

針對每一個所述界面圖像，對所述界面圖像進行控件對象識別，識別得到所述界面圖像中具有的每一個控件對象以及控件對象對應坐標。

5.根據(jù)權利要求1所述的方法，其特征在于，所述操作控制腳本，包括：每一個所述目標控件對象對應的操作意圖信息、以及識別每一個所述目標控件對象所采用的識別算法。

6.根據(jù)權利要求1所述的方法，其特征在于，所述采集所述操作流程中的界面圖像以及對應的時間戳，包括：

在所述目標用戶每一次執(zhí)行操作動作時，觸發(fā)對界面進行截圖，得每一張界面圖像以及對應的時間戳。