[發(fā)明專(zhuān)利]一種對(duì)話(huà)應(yīng)答及應(yīng)答策略匹配模型的訓(xùn)練方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010130939.5
• 申請(qǐng)日: 2020-02-28
• 公開(kāi)（公告）號(hào): CN113326359A
• 公開(kāi)（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 徐勝全
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江大搜車(chē)軟件技術(shù)有限公司
• 主分類(lèi)號(hào): G06F16/332
• 分類(lèi)號(hào): G06F16/332;G06F16/33;G06F40/289;G06F40/30;G06N3/04
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 王劍

1.一種對(duì)話(huà)應(yīng)答方法，其特征在于，所述方法包括：

在與咨詢(xún)方進(jìn)行本輪對(duì)話(huà)的過(guò)程中，對(duì)所述咨詢(xún)方在本次對(duì)話(huà)中發(fā)送的對(duì)話(huà)信息進(jìn)行向量化處理，以得到與所述對(duì)話(huà)信息對(duì)應(yīng)的對(duì)話(huà)信息向量；

解析所述對(duì)話(huà)信息向量以確定包含多維度特征的狀態(tài)信息向量；

將所述狀態(tài)信息向量和本輪對(duì)話(huà)中對(duì)應(yīng)于所述對(duì)話(huà)信息的歷史對(duì)話(huà)信息的歷史對(duì)話(huà)信息向量輸入應(yīng)答策略匹配模型，其中，所述應(yīng)答策略匹配模型預(yù)先采用包含有應(yīng)答策略標(biāo)注信息的對(duì)話(huà)信息樣本和同一輪對(duì)話(huà)中對(duì)應(yīng)于所述對(duì)話(huà)信息樣本的歷史對(duì)話(huà)信息訓(xùn)練完成；

確定由所述應(yīng)答策略匹配模型提取的特征向量所對(duì)應(yīng)的多個(gè)應(yīng)答策略和各個(gè)應(yīng)答策略對(duì)應(yīng)的置信度；

將所述多個(gè)應(yīng)答策略中置信度最高的應(yīng)答策略作為所述對(duì)話(huà)信息對(duì)應(yīng)的應(yīng)答信息。

2.根據(jù)權(quán)利要求1所述方法，其特征在于，所述對(duì)本次對(duì)話(huà)中咨詢(xún)方發(fā)送的對(duì)話(huà)信息進(jìn)行向量化處理，以得到與所述對(duì)話(huà)信息對(duì)應(yīng)的對(duì)話(huà)信息向量，包括：

對(duì)本次對(duì)話(huà)中咨詢(xún)方發(fā)送的對(duì)話(huà)信息進(jìn)行分詞處理，以確定所述對(duì)話(huà)信息字典化后的多個(gè)不重疊的詞語(yǔ)；

根據(jù)預(yù)設(shè)的WordEmbedding矩陣確定所述多個(gè)不重疊的詞語(yǔ)分別對(duì)應(yīng)的詞向量，以將所述詞向量確定為與所述對(duì)話(huà)信息對(duì)應(yīng)的對(duì)話(huà)信息向量。

3.根據(jù)權(quán)利要求1所述方法，其特征在于，所述解析所述對(duì)話(huà)信息向量以確定包含多維度特征的狀態(tài)信息向量，包括：

通過(guò)包含BERT優(yōu)化器、雙向長(zhǎng)短期記憶網(wǎng)絡(luò)和條件隨機(jī)場(chǎng)的神經(jīng)網(wǎng)絡(luò)模型對(duì)所述詞向量進(jìn)行特征提取；

根據(jù)所述神經(jīng)網(wǎng)絡(luò)模型提取的特征向量確定所述對(duì)話(huà)信息向量對(duì)應(yīng)的包含多維度特征的狀態(tài)信息向量。

4.根據(jù)權(quán)利要求1所述方法，其特征在于，所述本輪歷史對(duì)話(huà)的對(duì)話(huà)信息向量包含所述對(duì)話(huà)信息向量。

5.根據(jù)權(quán)利要求1所述方法，其特征在于，在將所述狀態(tài)信息向量和本輪歷史對(duì)話(huà)的對(duì)話(huà)信息向量輸入應(yīng)答策略匹配模型之前，還包括：

確定匹配于所述狀態(tài)信息向量的話(huà)術(shù)模板；

基于所述狀態(tài)信息向量對(duì)所述話(huà)術(shù)模板中的詞槽進(jìn)行信息填充；

若填充后的話(huà)術(shù)模板存在空詞槽，則根據(jù)空詞槽對(duì)應(yīng)的話(huà)術(shù)信息構(gòu)造用于話(huà)術(shù)澄清的提問(wèn)應(yīng)答；

接收咨詢(xún)方對(duì)所述提問(wèn)應(yīng)答的回復(fù)信息以將所述回復(fù)信息添加至所述狀態(tài)信息向量中。

6.根據(jù)權(quán)利要求1所述方法，其特征在于，所述確定由所述應(yīng)答策略匹配模型提取的特征向量所對(duì)應(yīng)的多個(gè)應(yīng)答策略和各個(gè)應(yīng)答策略對(duì)應(yīng)的置信度，包括：

將所述特征向量映射于預(yù)設(shè)數(shù)量的應(yīng)答策略，其中，所述應(yīng)答策略的取值包含所述特征向量經(jīng)過(guò)概率歸一化處理后的特征值，所述概率歸一化函數(shù)為：其中，所述σ_i(z)為所述特征向量經(jīng)過(guò)概率歸一化處理后的特征值，所述為自然常數(shù)的特征向量的數(shù)值次方，k為所述對(duì)話(huà)策略的類(lèi)別總數(shù)；

將所述特征向量經(jīng)過(guò)概率歸一化處理后的特征值確定為所述應(yīng)答策略對(duì)應(yīng)的置信度。

7.根據(jù)權(quán)利要求1所述方法，其特征在于，所述應(yīng)答策略匹配模型為強(qiáng)化學(xué)習(xí)中的學(xué)習(xí)模型或者深度學(xué)習(xí)中的循環(huán)神經(jīng)網(wǎng)絡(luò)模型。