[發明專利]基于交互界面的對話方法及系統

有效

• 申請號: 202210342525.8
• 申請日: 2022-03-31
• 公開（公告）號: CN114895999B
• 公開（公告）日: 2023-09-19
• 發明（設計）人: 俞凱;陳露;孫良泰;陳星宇;戴天樂
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G06F9/451
• 分類號: G06F9/451;G06F3/0484;G06F40/35
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;侯曉艷

本發明實施例提供一種基于交互界面的對話方法。該方法包括：將用戶的對話指令輸入至動作執行器；由動作執行器基于對話歷史以及圖形交互界面判斷對話指令的操作步驟；基于動作執行器對各操作步驟的執行，控制圖形交互界面基于執行的各步驟變化；直至各操作步驟完成時，對話生成模塊基于完成各操作步驟的圖形交互界面生成對話指令的回復。本發明實施例還提供一種基于交互界面的對話模型。本發明實施例提出了基于GUI的面向任務的對話模型，對GUI界面進行通用的語義建模，不依賴于特定的操作步驟，即便GUI界面發生變化，也可以自動化地在GUI界面中執行各種用戶指令。

技術領域

本發明涉及自然語言處理領域，尤其涉及一種基于交互界面的對話方法及系統。

背景技術

隨著任務導向對話系統的快速發展。它們在客戶服務，預訂系統，尤其是智能個人助理中得到了廣泛的應用。這些以任務為導向的對話系統：首先識別用戶的意圖，然后通過填充槽的過程提取必要的信息。完成任務后，代理會調用后端?api，例如查詢數據庫，并根據查詢結果生成答案。

具體的，解析用戶的語音輸入，并自動化地執行購票、預訂等任務。PIXELHELP系統可以在手機上自動執行系統設置相關的任務，如打開網絡設置。SUGILITE系統通過記錄用戶在手機上的操作來自動化地復現某一個動作序列。VASTA系統利用OCR和目標檢測技術來識別手機屏幕上的組件，并執行預先錄制的用戶腳本。

在實現本發明過程中，發明人發現相關技術中至少存在如下問題：

上述舉例的技術針對特定的應用編寫執行規則，依賴于記錄用戶的操作序列生成操作腳本。在執行自動化任務時，沒有去建模通用的GUI語義理解，而是依賴記錄特定的操作序列，這就導致GUI發生變化或者使用新的應用時，之前記錄的操作序列不能使用。

發明內容

為了至少解決現有技術中缺少對圖形交互界面的語義理解，在圖形交互界面發送變化時，之前記錄的操作序列的步驟不能繼續使用的問題。第一方面，本發明實施例提供一種基于交互界面的對話模型，包括：

動作執行器，用于對輸入的對話指令以及圖形交互界面語義理解，基于對話歷史至少預測所述對話指令在所述圖形交互界面中操作的目標項目和/或滑動方向，得到所述對話指令在所述圖形交互界面中預測操作軌跡，作為所述對話指令的操作步驟進行執行；

對話生成模塊，用于利用完成所述操作步驟的圖形交互界面生成所述對話指令的回復。

第二方面，本發明實施例提供一種基于交互界面的對話方法，包括：

將用戶的對話指令輸入至動作執行器；

由所述動作執行器基于對話歷史以及圖形交互界面判斷所述對話指令的操作步驟；

基于所述動作執行器對各操作步驟的執行，控制所述圖形交互界面基于執行的各步驟變化；

直至所述各操作步驟完成時，對話生成模塊基于完成所述各操作步驟的圖形交互界面生成所述對話指令的回復。

第三方面，提供一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行本發明任一實施例的基于交互界面的對話方法的步驟。

第四方面，本發明實施例提供一種存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現本發明任一實施例的基于交互界面的對話方法的步驟。

本發明實施例的有益效果在于：基于GUI的面向任務的對話模型，在真實應用程序上用GUI操作取代了傳統的API調用。其優點是，當后端API不可用時，智能代理仍然可以執行任務。此外，它不依賴于特定域的模式，這意味著它可以輕松地轉移到新的域，即便GUI界面發生變化，也可以自動化的在GUI界面中執行各種用戶指令。