[發(fā)明專利]對話內(nèi)容的處理方法、裝置及相關(guān)設(shè)備

有效

• 申請?zhí)枺?/td>: 202110731986.X
• 申請日: 2021-06-30
• 公開（公告）號: CN113177115B
• 公開（公告）日: 2021-10-26
• 發(fā)明（設(shè)計）人: 王一秋;曾志賢
• 申請（專利權(quán)）人: 中移（上海）信息通信科技有限公司;中移智行網(wǎng)絡(luò)科技有限公司;中國移動通信集團有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/58
• 代理公司: 北京銀龍知識產(chǎn)權(quán)代理有限公司 11243
• 代理人: 許靜;黃燦

1.一種對話內(nèi)容的處理方法，其特征在于，包括：

對第一對話內(nèi)容進行檢索得到由M個目標(biāo)文本向量與N個目標(biāo)圖片向量組合得到的第一答案，其中，所述M個目標(biāo)文本向量與所述第一對話內(nèi)容中的文本對應(yīng)，所述N個目標(biāo)圖片向量與所述第一對話內(nèi)容中的圖片對應(yīng)；所述第一對話內(nèi)容包括提問型內(nèi)容；

基于圖文編碼模型對所述第一對話內(nèi)容進行編碼得到由L個文本編碼向量與Y個圖片編碼向量組合得到的第二答案；其中，所述L個文本編碼向量由所述第一對話內(nèi)容中的文本編碼得到，所述Y個圖片編碼向量由所述第一對話內(nèi)容中的圖片編碼得到；

將所述第一對話內(nèi)容、所述第一答案和所述第二答案輸入目標(biāo)網(wǎng)絡(luò)模型，輸出與所述第一對話內(nèi)容匹配的目標(biāo)答案，其中，所述目標(biāo)答案為所述第一答案和所述第二答案中的答案，M、N、L、Y均為正整數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對第一對話內(nèi)容進行檢索得到由M個目標(biāo)文本向量與N個目標(biāo)圖片向量組合得到的第一答案，包括：

從所述第一對話內(nèi)容中識別M個文本向量和N個圖片向量；

確定所述M個文本向量對應(yīng)的第一業(yè)務(wù)類型，并確定所述N個圖片向量對應(yīng)的第二業(yè)務(wù)類型；

根據(jù)所述第一業(yè)務(wù)類型與第一映射關(guān)系確定第一索引，并根據(jù)所述第二業(yè)務(wù)類型與第二映射關(guān)系確定第二索引，其中，所述第一映射關(guān)系用于指示文本向量的業(yè)務(wù)類型與索引之間的關(guān)系，所述第二映射關(guān)系用于指示圖片向量的業(yè)務(wù)類型與索引之間的關(guān)系；

根據(jù)所述第一索引從文本向量庫中確定M個目標(biāo)文本向量，并根據(jù)所述第二索引從圖片向量庫中確定N個目標(biāo)圖片向量，其中，所述文本向量與每一個所述目標(biāo)文本向量的相似度低于第一閾值，所述圖片向量與每一個所述目標(biāo)圖片向量的相似度低于第二閾值；

基于所述M個目標(biāo)文本向量與所述N個目標(biāo)圖片向量的組合得到所述第一答案。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述第一對話內(nèi)容進行編碼得到由L個文本編碼向量與Y個圖片編碼向量組合得到的第二答案，包括：

對所述第一對話內(nèi)容中的文本進行編碼得到所述L個文本編碼向量；

對所述第一對話內(nèi)容中的圖片進行編碼得到所述Y個圖片編碼向量；

對所述L個文本編碼向量和所述Y個圖片編碼向量進行融合得到所述第二答案。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在對第一對話內(nèi)容進行檢索得到由M個目標(biāo)文本向量與N個目標(biāo)圖片向量組合得到的第一答案之前，所述方法還包括：

獲取歷史問答內(nèi)容，其中，所述歷史問答內(nèi)容包括提問型內(nèi)容；

將所述歷史問答內(nèi)容劃分為文本內(nèi)容和圖片；

確定所述文本內(nèi)容和所述圖片的業(yè)務(wù)類型；

根據(jù)所述業(yè)務(wù)類型將所述文本內(nèi)容存儲在對應(yīng)的文本知識庫中，以及將所述圖片存儲在對應(yīng)的圖片知識庫中。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

將所述文本知識庫中的文本內(nèi)容生成為對應(yīng)的文本向量，以及將所述圖片知識庫中的圖片生成對應(yīng)的圖片向量；

創(chuàng)建所述文本向量的索引，以及創(chuàng)建所述圖片向量的索引；

將創(chuàng)建索引后的文本向量存儲入文本向量庫，并將創(chuàng)建索引后的圖片向量存儲入圖片向量庫。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，在所述將所述第一對話內(nèi)容、所述第一答案和所述第二答案輸入目標(biāo)網(wǎng)絡(luò)模型，輸出與所述第一對話內(nèi)容匹配的目標(biāo)答案之前，所述方法包括：

對所述文本向量庫和所述圖片向量庫中的應(yīng)答內(nèi)容對應(yīng)的答案進行編碼得到標(biāo)識符，其中，所述標(biāo)識符用于指示所述答案的答案類型，所述答案類型包括基于編碼向量得到的答案和基于向量得到的答案；

通過目標(biāo)訓(xùn)練集對初始網(wǎng)絡(luò)模型進行訓(xùn)練得到所述目標(biāo)網(wǎng)絡(luò)模型，其中，所述目標(biāo)訓(xùn)練集包括所述文本向量庫中的文本、所述圖片向量庫中的圖片和所述標(biāo)識符。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：

將所述第一對話內(nèi)容、所述第一答案和所述第二答案輸入目標(biāo)網(wǎng)絡(luò)模型，輸出與所述目標(biāo)答案對應(yīng)的標(biāo)識符。