[發明專利]交互式軟件中的操作記錄與回放方法

在審

• 申請號: 201210218923.5
• 申請日: 2012-06-28
• 公開（公告）號: CN102799428A
• 公開（公告）日: 2012-11-28
• 發明（設計）人: 黃罡;張穎;張弩云;孫艷春
• 申請（專利權）人: 北京大學
• 主分類號: G06F9/44
• 分類號: G06F9/44
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 余長江

1.一種交互式軟件中操作記錄和回放方法，其步驟包括:

1）記錄用戶開始執行操作任務時在交互式軟件上的可回放語義信息操作，設定用戶操作事件、圖形用戶界面GUI事件與操作類型之間的對應規則；

1-1）根據用戶操作事件、GUI事件對應的操作類型規則，記錄操作類型；

1-2）記錄操作實施的GUI對象、操作內容和操作時間；

2）記錄用戶完成任務的所有操作參數，按照時間排序得到可回放操作序列，所述操作參數包括：操作類型，GUI對象，操作內容，操作時間；

3）當用戶完成任務后，根據特征相似技術確定GUI對象特征屬性，并基于特征閥值確定在不同用戶環境下，可回放操作序列中是否有可執行操作回放的對象；

4）對可執行操作回放的對象，按照操作類型與事件之間的對應規則對操作進行回放。

2.如權利要求1所述的一種交互式軟件中操作記錄和回放方法，其特征在于，在操作回放的過程中，用戶可通過中斷回放，并增加新操作或者修改參數適應新的交互過程。

3.如權利要求2所述的一種交互式軟件中操作記錄和回放方法，其特征在于，根據操作相關度匹配方法進行參數替換與識別以修改參數，其步驟包括：

3-1）給定一個用戶操作序列A₁A₂A₃...A_n，對操作類型為可更改Modifv的A_i的修改為A_j，其中A_j是待匹配操作，A_i是執行的第i個操作；

3-2）A_j與A_i的相關程度由順序相關度s，環境相關度o，操作和環境相關度m定義，根據操作A_i所記錄的UI特征和環境，賦予A_i一相關度基準因子t及分別與s,o,m相關的調節因子α，β，γ，其中α+β+γ=1，0<α<1，0<β<1，0<γ<1；

3-3）若s+o+m>t/2則A_j與A_i相關；標記出與A_j相關的A_k(i<k≤n)，A_k是用戶的操作；將A_k作為下一輪的A_j，并返回3-2）繼續進行運算，直到j=n；

3-4）把所有標記過的A_k(i<k≤n)反饋給用戶，經用戶示意后，修改所有相關操作。

4.如權利要求3所述的一種交互式軟件中操作記錄和回放方法，其特征在于，所述順序相關度所述環境相關度o=t*β；操作和環境相關度m=t*γ。

5.如權利要求1所述的一種交互式軟件中操作記錄和回放方法，其特征在于，所述操作類型包括：選擇；焦點集中；文本編輯；展開；勾選；關閉；栓扣；所述用戶操作事件包括：鼠標左鍵單擊、鍵盤敲擊；鼠標焦點集中、鍵盤焦點集中；鍵盤敲擊，GUI事件包括：按鈕、菜單項、工具欄項、可以得到焦點的UI對象、文本編輯框、文本編輯域、樹、表、列表、組合框、勾選控件、窗口、栓扣控件。

6.如權利要求1所述的一種交互式軟件中操作記錄和回放方法，其特征在于，特征相似技術步驟為：

1）統計交互式系統中各個GUI類的屬性；

1-1）提取可以作為對象特征的屬性，可以得到各個GUI類的屬性匯總表；

1-2）對于每個屬性，設定一個權值，代表該屬性有多少置信度去定位相應的GUI對象；

1-3）對于每個GUI類，設定特征閾值，用以決定GUI對象是否所需要的對象；

2）定義操作回放入口根GUI對象；

3）計算特征得分以定位對象，用記錄下的信息和當前面對的候選GUI對象相比較，選擇那個屬性匹配得分最高的GUI對象作為需要定位的GUI對象。

7.如權利要求1所述的一種交互式軟件中操作記錄和回放方法，其特征在于，所述不同用戶環境包括，屏幕分辨率不同、屏幕分辨率不同、軟件版本不同、同一個軟件的用戶界面按照用戶自定義進行不同界面設置的情況。