[發明專利]一種基于自然語言處理的對話式智能交互方法和系統

有效

• 申請號: 202011359592.8
• 申請日: 2020-11-27
• 公開（公告）號: CN112487142B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 梁興通;游海濤;王琳
• 申請（專利權）人: 易聯眾信息技術股份有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/957;G06K9/62;G06N3/04;G10L15/26;H04L67/02
• 代理公司: 廈門加減專利代理事務所(普通合伙) 35234
• 代理人: 李強

1.一種基于自然語言處理的對話式智能交互方法，其特征在于，包括以下步驟：

步驟a、系統層對頁面元素根據操作特性進行分類，并根據分類的操作元素建立與語音數據和操作指令的對應關系，形成可被導出的交互技能安裝包；

步驟b、交互層進行語音交互，邏輯層對交互層中接收到的語音交互信息進行意圖分析，并將分析后的結果反饋至交互層；

步驟c、交互層根據意圖分析結果進行操作條件判斷，并調用所述交互技能安裝包中的對應關系，以執行頁面操作命令；

所述系統層包括個性化訓練模塊，以建立個性化元素的對應關系；

所述個性化訓練的方法包括：

根據頁面元素的特殊表達方式形成若干語料，輸入到個性化訓練模塊；

個性化訓練模塊自動將其根據特定比例分配為訓練集、測試集、驗證集；

使用卷積神經網絡進行訓練后，再使用K-Fold進行交叉驗證，并根據驗證集的效果自動動態調參以達到特定的識別效果；

保存模型迭代到邏輯層的語義分析服務，完成個性化訓練；所述交互層通過UI操作對話引導進行語音輸入，并通過語音識別將輸入語音轉化為文字，并通過邏輯層的自然語音處理進行對話意圖分析，并將對話意圖反饋至交互層，進行操作條件判斷；

所述邏輯層通過條件詞槽判定進行對話意圖分析和語音內容輸入引導。

2.根據權利要求1中的基于自然語言處理的對話式智能交互方法，其特征在于：所述系統層加載頁面文件解析器，對頁面文件進行異步解構，以使頁面層操作元素匹配所述對應關系。

3.根據權利要求1中的基于自然語言處理的對話式智能交互方法，其特征在于：所述交互技能安裝包還包括跨平臺可編譯文件、JSVM虛擬運行包、語音邏輯包和自動化執行腳本。

4.根據權利要求1中的基于自然語言處理的對話式智能交互方法，其特征在于：步驟c中，當無法準確識別接收的語音內容時，通過兜底邏輯，對語音內容的輸入進行引導。

5.根據權利要求4中的基于自然語言處理的對話式智能交互方法，其特征在于,所述兜底邏輯包括：

通過內置html解釋器，根據標簽以及關鍵字，分析每一個頁面所有的可操作元素以及一般外部操作，并將分析后的結果分類至元素類別中，并執行元素對應所將要進行的操作指令；

使用WebKit包含的 WebCore繪制引擎和 JSCore 引擎進行頁面解析，生成需要的渲染樹，再經過布局，與WebKit Ports的渲染接口，將渲染樹渲染輸出到屏幕上,完成對語音內容的引導。

6.根據權利要求4中的基于自然語言處理的對話式智能交互方法，其特征在于：采用WebKit Ports以使Webkit能夠移植至不同的操作系統或平臺上，并調用Native Library的接口進行二次封裝，以實現語音控制、聲音播放和錄音能力。

7.根據權利要求6中的基于自然語言處理的對話式智能交互方法，其特征在于：所述系統層中，采用JSCore建立與原生OC統一；

其中，所述JSCore由以下構建塊組成：詞法分析器，解析器，啟動解釋器，基線JIT，低延遲優化JIT和高并發優化JIT。

8.根據權利要求7中的基于自然語言處理的對話式智能交互方法，其特征在于：所述系統層中，采用在 Native 中開啟多個線程來異步執行不同API，以創建多個JSVirtualMachine VM。

9.根據權利要求8中的基于自然語言處理的對話式智能交互方法，其特征在于：在一個JSVirtualMachine中關聯多個 JSContext，通過 JSValue和 Native 進行數據傳遞通信，同時通過 JSExport，將 Native 中遵守此解析的類的方法和屬性轉換為JS 的接口供其調用。

10.根據權利要求9中的基于自然語言處理的對話式智能交互方法，其特征在于：所述邏輯層還包括訓練模塊，以對對話意圖分析進行訓練。

11.一種基于自然語言處理的對話式智能交互系統，其特征在于：包括系統層、交互層和邏輯層：

所述系統層對頁面元素根據操作特性進行分類，并根據分類的操作元素建立與語音數據和操作指令的對應關系，形成可被導出的交互技能安裝包；

所述交互層進行語音交互，邏輯層對交互層中接收到的語音交互信息進行意圖分析，并將分析后的結果反饋至交互層；

所述交互層根據意圖分析結果進行操作條件判斷，并調用所述交互技能安裝包中的對應關系，以執行頁面操作命令；

所述系統層包括個性化訓練模塊，以建立個性化元素的對應關系；

所述個性化訓練的方法包括：

根據頁面元素的特殊表達方式形成若干語料，輸入到個性化訓練模塊；

個性化訓練模塊自動將其根據特定比例分配為訓練集、測試集、驗證集；

使用卷積神經網絡進行訓練后，再使用K-Fold進行交叉驗證，并根據驗證集的效果自動動態調參以達到特定的識別效果；

保存模型迭代到邏輯層的語義分析服務，完成個性化訓練；所述交互層通過UI操作對話引導進行語音輸入，并通過語音識別將輸入語音轉化為文字，并通過邏輯層的自然語音處理進行對話意圖分析，并將對話意圖反饋至交互層，進行操作條件判斷；

所述邏輯層通過條件詞槽判定進行對話意圖分析和語音內容輸入引導。