[發(fā)明專利]基于外呼機(jī)器人的用戶意圖識別模型的訓(xùn)練方法和裝置

有效

• 申請?zhí)枺?/td>: 202310651480.7
• 申請日: 2023-06-05
• 公開（公告）號: CN116384411B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計(jì)）人: 張航飛;黃明星;王福釙;沈鵬;周曉波
• 申請（專利權(quán)）人: 北京水滴科技集團(tuán)有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F18/22;G06F18/214;G06F16/35;G06N3/045
• 代理公司: 北京中強(qiáng)智尚知識產(chǎn)權(quán)代理有限公司 11448
• 代理人: 宋然然

1.一種基于外呼機(jī)器人的用戶意圖識別模型的訓(xùn)練方法，其特征在于，包括：

獲取用戶與外呼機(jī)器人交互過程中用戶的原始文本信息；

對所述原始文本信息進(jìn)行向量化處理，生成原始文本向量和語義相似文本向量；

設(shè)計(jì)提示模板，生成提示模板文本；

對所述提示模板文本進(jìn)行向量化處理，生成模板文本向量；

將所述原始文本向量和所述語義相似文本向量，分別與所述模板文本向量進(jìn)行拼接處理，得到多個拼接后的文本向量；

將所述多個拼接后的文本向量輸入預(yù)先構(gòu)建的預(yù)訓(xùn)練語言模型，對所述預(yù)訓(xùn)練語言模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的用戶意圖識別模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對所述原始文本信息進(jìn)行向量化處理，生成原始文本向量和語義相似文本向量，包括：

將所述原始文本信息經(jīng)過預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)的第一編碼模塊，生成原始文本向量；

將所述原始文本信息經(jīng)過預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)的第二編碼模塊，生成語義相似文本向量，其中所述第二編碼模塊是在所述第一編碼模塊中隨機(jī)關(guān)閉掉一個或多個神經(jīng)元的連接得到。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，設(shè)計(jì)提示模板，生成提示模板文本，包括：

構(gòu)建樣本的原始標(biāo)簽的映射集；

基于所述原始標(biāo)簽的映射集，設(shè)計(jì)提示模板，生成提示模板文本。

4.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，對所述提示模板文本進(jìn)行向量化處理，生成模板文本向量，包括：

將所述提示模板文本經(jīng)過預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)的第一編碼模塊，生成模板文本向量。

5.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，若所述模板文本向量包括多個，將所述原始文本向量和所述語義相似文本向量，分別與所述模板文本向量進(jìn)行拼接處理，得到多個拼接后的文本向量，包括：

根據(jù)所述原始文本向量對應(yīng)的原始標(biāo)簽，在多個所述模板文本向量查找與所述原始文本向量對應(yīng)的原始標(biāo)簽匹配的目標(biāo)模板文本向量；

將所述原始文本向量與所述目標(biāo)模板文本向量拼接，以及將所述語義相似文本向量與所述目標(biāo)模板文本向量拼接，得到多個拼接后的文本向量。

6.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，將所述多個拼接后的文本向量輸入預(yù)先構(gòu)建的預(yù)訓(xùn)練語言模型，對所述預(yù)訓(xùn)練語言模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的用戶意圖識別模型，包括：

將所述多個拼接后的文本向量輸入預(yù)先構(gòu)建的預(yù)訓(xùn)練語言模型，對所述預(yù)訓(xùn)練語言模型進(jìn)行訓(xùn)練，在訓(xùn)練過程中，隨機(jī)遮蔽所述多個拼接后的文本向量中各拼接后的文本向量的詞語，所述預(yù)訓(xùn)練語言模型通過對被遮蔽的詞語進(jìn)行預(yù)測得到預(yù)測結(jié)果，將預(yù)測結(jié)果與所述各拼接后的文本向量對應(yīng)的標(biāo)簽數(shù)據(jù)進(jìn)行比對，進(jìn)而根據(jù)比對結(jié)果對預(yù)訓(xùn)練語言模型的參數(shù)進(jìn)行調(diào)整，得到訓(xùn)練后的用戶意圖識別模型。

7.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，在得到訓(xùn)練后的用戶意圖識別模型之后，所述方法還包括：

響應(yīng)于外呼機(jī)器人的外呼對話，獲取用戶交互文本；

將所述用戶交互文本輸入到訓(xùn)練后的用戶意圖識別模型，識別用戶意圖；

根據(jù)識別出的用戶意圖生成回復(fù)句子，將回復(fù)句子作為所述用戶交互文本的回復(fù)內(nèi)容。

8.一種基于外呼機(jī)器人的用戶意圖識別模型的訓(xùn)練裝置，其特征在于，包括：

獲取單元，用于獲取用戶與外呼機(jī)器人交互過程中用戶的原始文本信息；

第一生成單元，用于對所述原始文本信息進(jìn)行向量化處理，生成原始文本向量和語義相似文本向量；

第二生成單元，用于設(shè)計(jì)提示模板，生成提示模板文本；

第三生成單元，用于對所述提示模板文本進(jìn)行向量化處理，生成模板文本向量；

拼接單元，用于將所述原始文本向量和所述語義相似文本向量，分別與所述模板文本向量進(jìn)行拼接處理，得到多個拼接后的文本向量；

訓(xùn)練單元，用于將所述多個拼接后的文本向量輸入預(yù)先構(gòu)建的預(yù)訓(xùn)練語言模型，對所述預(yù)訓(xùn)練語言模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的用戶意圖識別模型。