[發(fā)明專利]一種基于深度學(xué)習(xí)集成模型的文本相似度計(jì)算方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010107048.8
• 申請(qǐng)日: 2020-02-21
• 公開(kāi)（公告）號(hào): CN111325029B
• 公開(kāi)（公告）日: 2023-08-22
• 發(fā)明（設(shè)計(jì)）人: 蘇心玥;陶飛飛;唐勇軍;楊泰勇;彭新宇;李婉婷
• 申請(qǐng)（專利權(quán)）人: 河海大學(xué)
• 主分類號(hào): G06F40/289
• 分類號(hào): G06F40/289;G06F40/30;G06F40/194;G06F16/35;G06N3/0442;G06N3/0464;G06N3/045
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 成立珍

本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)集成模型的文本相似度計(jì)算方法，包括如下步驟：采用基于雙向Bi?LSTM神經(jīng)網(wǎng)絡(luò)的進(jìn)行中文分詞；去停用詞、糾錯(cuò)、同義詞替換等；關(guān)鍵詞檢索；采用Word2Vec訓(xùn)練得到客戶問(wèn)題文本詞向量、標(biāo)準(zhǔn)問(wèn)題文本詞向量；特征工程抽取；基于Siamese?LSTM模型的短文本相似度計(jì)算；基于Siamese?CNN模型的長(zhǎng)文本相似度計(jì)算；基于ESIM模型的文本語(yǔ)義相似度計(jì)算；基于Stacking集成LSTM、CNN及ESIM模型相似度計(jì)算。本發(fā)明基于深度學(xué)習(xí)集成模型的計(jì)算方法，可以保證更高的自適應(yīng)性和精確度。

技術(shù)領(lǐng)域

本發(fā)明屬于自然語(yǔ)言處理技術(shù)領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)集成模型的文本相似度計(jì)算方法。

背景技術(shù)

客服是企業(yè)和客戶之間的紐帶，承擔(dān)著直接服務(wù)客戶的工作，解答業(yè)務(wù)問(wèn)題，處理服務(wù)糾紛，加深客戶對(duì)企業(yè)的了解，增進(jìn)客戶與企業(yè)之間的感情等等。然而，客服工作不僅強(qiáng)度大，而且工作內(nèi)容也比較枯燥乏味，這一工作特性使得客服人員容易產(chǎn)生負(fù)面情緒，進(jìn)而導(dǎo)致客服人員流動(dòng)性大、招聘管理難，最終使得客戶體驗(yàn)效果不理想。

人工智能特別是深度學(xué)習(xí)的發(fā)展和應(yīng)用，為基于文本相似度計(jì)算技術(shù)的智能客服提供了可行的技術(shù)方案。智能客服受到了金融服務(wù)業(yè)的青睞，被應(yīng)用于證券、基金等各大金融企業(yè)。但是，由于語(yǔ)言表達(dá)的多樣性和靈活性，客戶提出的問(wèn)題一般和知識(shí)庫(kù)的標(biāo)準(zhǔn)問(wèn)題有一定的差異，這給智能客服解決方案提出了巨大挑戰(zhàn)。

深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一種，在文本相似度計(jì)算中越來(lái)越成為研究的優(yōu)選方案。但目前在文本相似度計(jì)算中，通常采用單一的深度學(xué)習(xí)模型實(shí)現(xiàn)，不能適應(yīng)長(zhǎng)文本、短文本不同語(yǔ)言情境。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中單一模型無(wú)法滿足文本相似度計(jì)算的適應(yīng)性和精度需求，本發(fā)明提供一種基于深度學(xué)習(xí)集成模型的文本相似度計(jì)算方法，采用深度學(xué)習(xí)集成模型能夠適應(yīng)長(zhǎng)文本、短文本不同客戶服務(wù)場(chǎng)景，可以有效提高適應(yīng)性和精度。

本發(fā)明采用如下技術(shù)方案：

一種基于深度學(xué)習(xí)集成模型的文本相似度計(jì)算方法，包括如下步驟：

(1)基于雙向Bi-LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行中文分詞；

(2)去停用詞、糾錯(cuò)、同義詞替換；

(3)關(guān)鍵詞檢索；

(4)采用Word2Vec訓(xùn)練得到客戶問(wèn)題文本詞向量、標(biāo)準(zhǔn)問(wèn)題文本詞向量；

(5)特征工程抽取；

(6)基于Siamese?LSTM模型的短文本相似度計(jì)算；

(7)基于Siamese?CNN模型的長(zhǎng)文本相似度計(jì)算；

(8)基于ESIM模型的文本語(yǔ)義相似度計(jì)算；

(9)基于Stacking集成LSTM、CNN及ESIM模型相似度計(jì)算。

優(yōu)選地，所述步驟(1)中基于雙向Bi-LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行中文分詞的具體過(guò)程為：

步驟1：標(biāo)注序列；

步驟2：雙向LSTM網(wǎng)絡(luò)預(yù)測(cè)標(biāo)簽；

步驟3：Viterbi算法求解最優(yōu)路徑。

步驟(1)采取雙向編碼句子，采取拼接向量用以情感分類。

優(yōu)選地，所述步驟(5)中特征工程抽取的具體過(guò)程為：

步驟1：統(tǒng)計(jì)特征抽取；

步驟2：圖特征抽取。

優(yōu)選地，所述步驟(6)中基于Siamese?LSTM模型的短文本相似度計(jì)算，采用歐式距離公式(1)計(jì)算文本詞向量相似度：