[發(fā)明專利]一種基于語句改寫的面向端到端對話的數據增強方法

有效

• 申請?zhí)枺?/td>: 202010151751.9
• 申請日: 2020-03-06
• 公開（公告）號: CN111522921B
• 公開（公告）日: 2023-06-02
• 發(fā)明（設計）人: 胡若云;王正國;沈然;呂詩寧;江俊軍;丁麒;朱斌;孫鋼;金良峰;汪一帆;谷泓杰
• 申請（專利權）人: 國網浙江省電力有限公司營銷服務中心;國網浙江玉環(huán)市供電有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/36;G06N3/0442
• 代理公司: 浙江翔隆專利事務所(普通合伙) 33206
• 代理人: 王曉燕

1.一種基于語句改寫的面向端到端對話的數據增強方法，其特征在于包括以下步驟：

1)模型訓練

101)搜索原始對話文本并考察所有用戶語句的對話功能，為每一個用戶語句匹配一個參考改寫語句；

102)將用戶語句輸入語句改寫模型，并對其進行預處理，包括分詞、正規(guī)化操作；

103)對輸入的用戶語句以及前一輪系統(tǒng)回復進行編碼，得到語句的向量表示；

104)根據上一步編碼結果解碼前一輪系統(tǒng)對話動作；

105)根據步驟(103)編碼結果和前一輪系統(tǒng)對話動作，解碼改寫后的用戶語句；

106)檢查改寫后的用戶語句，篩選出改動較大但含義不變的語句，用以替換原對話文本中的用戶語句，生成新的對話文本，并將其并入原對話文本，得到擴充的訓練數據，得到對話生成模型；

2)當用戶提出請求時，將用戶語句輸入語句改寫模型，并對其進行預處理；

3)對輸入的用戶語句以及前一輪系統(tǒng)回復進行編碼，得到語句的向量表示；

4)根據上一步編碼結果解碼前一輪系統(tǒng)對話動作；

5)根據步驟3)編碼結果和前一輪系統(tǒng)對話動作，解碼改寫后的用戶語句；

6)將用戶語句輸入對話生成模型，并將其連同前一輪系統(tǒng)回復和前一輪對話狀態(tài)重新進行編碼，獲得向量表示；

7)根據上一步編碼結果和步驟5)語句改寫的解碼結果，進行對話狀態(tài)解碼，解碼過程中依次輸出識別到的對話領域、屬性槽和屬性值；

8)根據對話狀態(tài)，在數據庫中查詢符合要求的實體；

9)判斷模型類別；當模型為DAMD時，根據對話狀態(tài)解碼結果和數據庫查詢結果進行系統(tǒng)對話動作的解碼，當模型為TSCP時，則直接跳至下一步；

10)根據之前所有的編解碼和查詢結果，生成系統(tǒng)的自然語言回復；

11)對生成的回復進行后處理，后處理包括單詞合并、添加標點，得到呈現給用戶的自然語言，并回復。

2.根據權利要求1所述的一種基于語句改寫的面向端到端對話的數據增強方法，其特征在于：在步驟1)中，聯合訓練一個語句改寫模型和一個對話生成模型；兩模型都采用基于序列到序列(seq2seq)的框架，由一個對話上下文編碼器(encoder)和多個串聯的解碼器(decoder)組成；語句改寫模型包含系統(tǒng)對話動作解碼器和改寫語句解碼器；對話生成模型則有兩種，TSCP模型包含對話狀態(tài)解碼器和自然語言回復解碼器，DAMD模型則在TSCP模型的兩解碼器之間又加入了一個系統(tǒng)對話動作解碼器。

3.根據權利要求2所述的一種基于語句改寫的面向端到端對話的數據增強方法，其特征在于：在步驟102)及步驟2)中，對輸入的用戶語句進行分詞，再將其送入語句改寫模型的上下文編碼器。

4.根據權利要求3所述的一種基于語句改寫的面向端到端對話的數據增強方法，其特征在于：在步驟103)及步驟3)中，將前一輪系統(tǒng)回復和輸入的用戶語句串聯為自然語言單詞序列，并使用一個層數為1、隱層神經元數量為50或100的雙向GRU模型作為編碼器，將該單詞序列編碼為等長的向量序列，稱為隱狀態(tài)；編碼過程實現了在隱狀態(tài)空間融合并理解對話中包含的語義信息；該編碼器的輸出結果將依次送到語句改寫模型的兩個解碼器，用于后續(xù)模型輸出的解碼。

5.根據權利要求4所述的一種基于語句改寫的面向端到端對話的數據增強方法，其特征在于：在步驟104)及步驟4)中，語句改寫模型通過系統(tǒng)對話動作解碼器(ActionDecoder)進行前一輪系統(tǒng)對話動作A_t-1的解碼；對話動作使用自然語言序列加以表示；且認為前一輪系統(tǒng)對話動作與前一輪系統(tǒng)回復R_t-1直接相關，并且用當前輪次用戶語句U_t進行反向推演，基于此兩者的編碼結果解碼出前一輪系統(tǒng)對話動作：

A_t-1＝seq2seq(R_t-1，U_t)。