[發明專利]一種人機交互操作信息的獲取方法及裝置

有效

• 申請號: 201811244256.1
• 申請日: 2018-10-24
• 公開（公告）號: CN109324864B
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 李東播
• 申請（專利權）人: 北京贏銷通軟件技術有限公司
• 主分類號: G06F9/451
• 分類號: G06F9/451;G06F3/0481
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 逯長明;許偉群

1.一種人機交互操作信息的獲取方法，其特征在于，所述方法包括：

當發生人機交互事件時，獲取交互事件信息；所述交互事件信息包括與交互事件關聯的當前操作界面幀和交互事件在所述操作界面幀中的交互位置信息；

確定所述操作界面幀的唯一性標識圖像；

根據所述唯一性標識圖像和交互位置信息確定操作定位信息；

根據操作定位信息和交互事件的動作類型生成與所述操作界面幀對應的交互動作信息；

基于所述操作界面幀和所述交互動作信息建立與所述交互事件對應的子腳本；

根據多個交互事件對應的子腳本之間的邏輯關系，生成包含子腳本及子腳本執行順序的人機交互操作信息；

其中，所述唯一性標識圖像包括在所述交互位置的預設區域內的一塊或多塊矩形區域對應的圖像；

所述確定操作界面幀的唯一性標識圖像，包括：

在所述交互位置的預設區域內選擇一塊或通過位置布局關聯的多塊矩形區域；

通過像素比對判斷已選擇的一塊或通過位置布局關聯的多塊矩形區域對應的圖像相對于所述操作界面幀是否具有唯一性；

如果已選擇的一塊或通過位置布局關聯的多塊矩形區域對應的圖像相對于所述操作界面幀具有唯一性，確定所述一塊或通過位置布局關聯的多塊矩形區域對應的圖像為所述操作界面幀的唯一性標識圖像；

如果已選擇的一塊或通過位置布局關聯的多塊矩形區域對應的圖像相對于所述操作界面幀不具有唯一性，則執行在所述交互位置的預設區域內選擇另一塊矩形區域的步驟，所述另一塊矩形區域與所述已選擇的一塊或多塊矩形區域具有位置布局關聯。

2.根據權利要求1所述的方法，其特征在于，所述通過像素比對判斷已選擇的一塊或通過位置布局關聯的多塊矩形區域對應的圖像相對于所述操作界面幀是否具有唯一性，包括：

將已選擇的一塊或通過位置布局關聯的多塊矩形區域對應的圖像與所述操作界面幀的其余區域對應的圖像進行像素比對；

如果所述操作界面幀的其余區域中存在與已選擇的一塊矩形區域對應的圖像像素相同的區域，或者，所述操作界面幀的其余區域中存在與已選擇的通過位置布局關聯的多塊矩形區域對應的圖像像素相同的區域，并且所述相同的區域間的位置布局與所述多塊矩形區域的位置布局相同，確定已選擇的一塊或通過位置布局關聯的多塊矩形區域對應的圖像相對于所述操作界面幀具有唯一性。

3.根據權利要求1-2任一項所述的方法，其特征在于，所述根據唯一性標識圖像和交互位置信息確定操作定位信息，包括：

獲取所述唯一性標識圖像在所述操作界面幀的當前位置坐標；

解析所述交互位置信息，得到交互位置坐標；

根據所述唯一性標識圖像在所述操作界面幀的當前位置坐標和交互位置坐標，確定交互位置與唯一性標識圖像所在位置的相對位置關系，以所述唯一性標識圖像及所述相對位置關系為操作定位信息。

4.根據權利要求3所述的方法，其特征在于，所述根據唯一性標識圖像在所述操作界面幀的當前位置坐標和交互位置坐標，確定交互位置與唯一性標識圖像所在位置的相對位置關系，包括：

如果所述唯一性標識圖像包括一塊矩形區域對應的圖像，則根據所述矩形區域在所述操作界面幀的當前位置坐標和交互位置坐標，確定所述交互位置與所述矩形區域對應圖像的相對位置關系；

如果所述標識圖像包括多塊矩形區域，則分別根據每塊矩形區域在所述操作界面幀的當前位置坐標和交互位置坐標，確定所述交互位置與每塊矩形區域對應圖像的相對位置關系。

5.根據權利要求1所述的方法，其特征在于，在基于所述操作界面幀和所述交互動作信息建立與所述交互事件對應的子腳本之后，所述方法還包括：

檢查是否存在錯誤或冗余的子腳本；

如果存在，刪除所述錯誤或冗余的子腳本。

6.根據權利要求5所述的方法，其特征在于，在所述刪除錯誤或冗余的子腳本之后，所述方法還包括：

判斷已發生的交互事件是否構成預設的事件全集；

如果已發生的交互事件未構成預設的事件全集，則觸發事件全集中的未發生事件，并執行獲取交互事件信息的步驟。