[發(fā)明專利]對話系統(tǒng)測試方法和裝置、語句改寫方法在審
| 申請?zhí)枺?/td> | 202010468610.X | 申請日： | 2020-05-28 |
| 公開（公告）號： | CN113742461A | 公開（公告）日： | 2021-12-03 |
| 發(fā)明（設計）人： | 崔少波;計峰;唐大懷;康小明 | 申請（專利權(quán)）人： | 阿里巴巴集團控股有限公司 |
| 主分類號： | G06F16/332 | 分類號： | G06F16/332;G06F11/36;G06F40/289;G06F40/30;G06F40/35;G06F40/247 |
| 代理公司： | 北京展翼知識產(chǎn)權(quán)代理事務所(特殊普通合伙) 11452 | 代理人： | 屠長存 |
| 地址： | 英屬開曼群島大開*** | 國省代碼： | 暫無信息 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 對話 系統(tǒng) 測試 方法 裝置 語句 改寫 | ||
1.一種對話系統(tǒng)測試方法，包括：
將對話系統(tǒng)對應于同一語義的預設問句集合中的多個預設問句的句式結(jié)構(gòu)信息映射到隨機向量分布，并得到相應的隨機向量分布參數(shù)；
基于所述隨機向量分布參數(shù)，從所述隨機向量分布中進行采樣，得到隨機向量；
將預設問句和所述隨機向量輸入序列到序列模型，得到對應于所述預設問句的改寫問句；
將所述改寫問句輸入所述對話系統(tǒng)，得到應答輸出；以及
判斷所述應答輸出與所述對話系統(tǒng)對應于所述預設問句的預設應答是否一致。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述將對話系統(tǒng)對應于同一語義的多個預設問句的句式結(jié)構(gòu)信息映射到隨機向量分布的步驟包括：
基于對話系統(tǒng)對應于同一語義的多個預設問句，對句法嵌入模型和所述序列到序列模型進行訓練，所述句法嵌入模型用于將對應于同一語義的多個預設問句的句式結(jié)構(gòu)信息映射到隨機向量分布，并得到相應的隨機向量分布參數(shù)。
3.根據(jù)權(quán)利要求2所述的方法，其中，基于對話系統(tǒng)對應于同一語義的多個預設問句對句法嵌入模型和序列到序列模型進行訓練的步驟包括：
將所述多個預設問句輸入所述句法嵌入模型，得到訓練隨機向量分布參數(shù)；
以所述多個預設問句中至少一對不同問句作為訓練數(shù)據(jù)，以訓練數(shù)據(jù)中的一個問句為訓練原問句，另一個問句為訓練改寫問句，將訓練原問句輸入序列到序列模型的編碼器，得到訓練上下文向量；
基于訓練隨機向量分布參數(shù)，從相應的訓練隨機向量分布中進行采樣，得到訓練隨機向量；
將所述訓練隨機向量和所述訓練上下文向量輸入序列到序列模型的解碼器中，結(jié)合所述訓練改寫問句，計算損失函數(shù)；以及
優(yōu)化所述句法嵌入模型和所述序列到序列模型的參數(shù)，使所述損失函數(shù)減小。
4.根據(jù)權(quán)利要求1所述的方法，其中，所述將預設問句和所述隨機向量輸入序列到序列模型得到對應于所述預設問句的改寫問句的步驟包括：
將預設問句輸入序列到序列模型的編碼器中，得到隱藏向量和上下文向量；以及
將所述隨機向量、所述隱藏向量和所述上下文向量輸入序列到序列模型的解碼器中，得到對應于所述預設問句的改寫問句。
5.根據(jù)權(quán)利要求1所述的方法，還包括：
分別以預設問句中的每個詞的逆文檔頻率為權(quán)重，對預設問句的每個詞的詞向量表示進行加權(quán)求和，得到第一向量，分別以改寫問句中的每個詞的逆文檔頻率為權(quán)重，對改寫問句的每個詞的詞向量表示進行加權(quán)求和，得到第二向量，基于第一向量和第二向量的相似度來確定改寫準確度指標；以及/或者
基于預設問句和改寫問句之間的機器翻譯評價指標確定改寫多樣性指標。
6.根據(jù)權(quán)利要求5所述的方法，還包括：
基于所述改寫準確度指標和/或所述改寫多樣性指標，對對應于同一語義的多個改寫問句進行排序和/或篩選。
7.根據(jù)權(quán)利要求1所述的方法，還包括：
將所述改寫問句添加到所述預設問句集合中。
8.一種對話系統(tǒng)測試方法，包括：
將對話系統(tǒng)的預設問句輸入語句改寫模型中，得到對應于所述預設問句的改寫問句，所述語句改寫模型將輸入語句改寫為與輸入語句具有相同語義的輸出語句；
將所述改寫問句輸入所述對話系統(tǒng)，得到應答輸出；以及
判斷所述應答輸出與所述對話系統(tǒng)對應于所述預設問句的預設應答是否一致。
9.一種對話系統(tǒng)預設問句擴充方法，包括：
將對話系統(tǒng)的預設問句輸入語句改寫模型中，得到對應于所述預設問句的改寫問句，所述語句改寫模型將輸入語句改寫為與輸入語句具有相同語義的輸出語句；以及
將所述改寫語句添加到所述對話系統(tǒng)中對應于所述預設問句的同義問句集合中。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于阿里巴巴集團控股有限公司，未經(jīng)阿里巴巴集團控股有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010468610.X/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
