[發明專利]基于交互界面的對話方法及系統

有效

• 申請號: 202210342525.8
• 申請日: 2022-03-31
• 公開（公告）號: CN114895999B
• 公開（公告）日: 2023-09-19
• 發明（設計）人: 俞凱;陳露;孫良泰;陳星宇;戴天樂
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G06F9/451
• 分類號: G06F9/451;G06F3/0484;G06F40/35
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;侯曉艷

1.一種基于交互界面的對話系統，包括：

動作執行器，用于對輸入的對話指令以及圖形交互界面語義理解，基于對話歷史預測所述對話指令在所述圖形交互界面中操作的目標項目和/或滑動方向，得到所述對話指令在所述圖形交互界面中預測操作軌跡，作為所述對話指令的操作步驟進行執行，其中，所述動作執行器的訓練過程包括：

將對話歷史和與所述對話歷史相關聯的帶有基準操作軌跡的圖形交互界面中的多個項目作為動作執行器的輸入，其中，所述項目包括：文本內容、項目類別，

對所述對話歷史和所述文本內容語義理解，基于多個不同的分類器判斷在所述圖形交互界面中操作的項目類別、目標項目、滑動方向，得到預測操作軌跡，

基于所述基準操作軌跡和所述預測操作軌跡對所述對話系統進行訓練，直至所述預測操作軌跡趨近于所述基準操作軌跡；

對話生成模塊，用于利用完成所述操作步驟的圖形交互界面生成所述對話指令的回復。

2.根據權利要求1所述的對話系統，其中，所述多個不同的分類器包括：預測任務、預測目標項目、預測方向分類器。

3.根據權利要求1所述的對話系統，其中，在所述將對話歷史和與所述對話歷史相關聯的帶有基準操作軌跡的圖形交互界面中的多個項目作為動作執行器的輸入之前，所述動作執行器的訓練過程還包括：收集所述對話歷史和與所述對話歷史相關聯的基準操作軌跡，包括：

生成第一對話領域的第一對話指令，以供注釋者在所述對話在圖形交互界面中完成所述第一對話指令的操作步驟，并記錄注釋者完成所述第一對話指令每次操作的第一軌跡標注，以及每次操作后的圖形交互界面；

接收由對話編寫者編寫的限制對話回合數、對話行為的第二對話領域的對話指令，以供注釋者在所述對話在圖形交互界面中完成所述第二對話指令，并記錄注釋者完成所述第二對話指令每次操作的第二軌跡標注，以及每次操作后的圖形交互界面；

將所述第一軌跡標注、所述第二軌跡標注作為基準操作軌跡。

4.根據權利要求3所述的對話系統，其中，所述軌跡標注由光學字符識別確定。

5.根據權利要求1所述的對話系統，其中，所述項目類型包括：文本視圖、圖像視圖、線性布局、圖像按鈕、按鈕、編輯文本、切換視圖、視圖組、選中文本視圖、相對布局、網絡視圖、圖像、切換按鈕、列表視圖、框架布局、單選按鈕、復選框。

6.根據權利要求1所述的對話系統，其中，所述對話生成模塊的編碼器與所述動作執行器共享相同的編碼器，所述對話生成模塊的解碼器為多層的transformer解碼器。

7.一種基于交互界面的對話方法，應用于包含根據權利要求1-6中任一項所述的對話系統的電子設備，包括：

將用戶的對話指令輸入至動作執行器，其中，所述動作執行器的訓練過程包括：

將對話歷史和與所述對話歷史相關聯的帶有基準操作軌跡的圖形交互界面中的多個項目作為動作執行器的輸入，其中，所述項目包括：文本內容、項目類別，

對所述對話歷史和所述文本內容語義理解，基于多個不同的分類器判斷在所述圖形交互界面中操作的項目類別、目標項目、滑動方向，得到預測操作軌跡，

基于所述基準操作軌跡和所述預測操作軌跡對所述對話系統進行訓練，直至所述預測操作軌跡趨近于所述基準操作軌跡；

由所述動作執行器基于對話歷史以及圖形交互界面判斷所述對話指令的操作步驟；

基于所述動作執行器對各操作步驟的執行，控制所述圖形交互界面基于執行的各步驟變化；

直至所述各操作步驟完成時，對話生成模塊基于完成所述各操作步驟的圖形交互界面生成所述對話指令的回復。

8.一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求7所述方法的步驟。

9.一種存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求7所述方法的步驟。