[發(fā)明專(zhuān)利]一種文本語(yǔ)義匹配的方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810031623.3
• 申請(qǐng)日: 2018-01-12
• 公開(kāi)（公告）號(hào): CN108132931B
• 公開(kāi)（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 蔣宏飛;趙紅紅;晉耀紅;楊凱程
• 申請(qǐng)（專(zhuān)利權(quán)）人: 鼎富智能科技有限公司
• 主分類(lèi)號(hào): G06F40/30
• 分類(lèi)號(hào): G06F40/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京弘權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11363
• 代理人: 逯長(zhǎng)明;許偉群

本申請(qǐng)?zhí)峁┮环N文本語(yǔ)義匹配方法，該方法使用由待處理文本中詞和字對(duì)應(yīng)的詞向量和字向量獲得總向量，再對(duì)所述總向量進(jìn)行卷積處理、平均化處理以及雙向LSTM處理，其中，在處理基礎(chǔ)文本時(shí)采用不具有注意力機(jī)制的LSTM方法，而處理目標(biāo)文本時(shí)，采用具有注意力機(jī)制的LSTM方法，分別獲得池化向量，再用兩個(gè)池化向量的相似度作為兩篇文本的相似度，該方法不僅考慮了文本中詞之間的語(yǔ)義聯(lián)系，還考慮了字之間的語(yǔ)義聯(lián)系，不僅考慮了字、詞之間正向的語(yǔ)義聯(lián)系，還考慮了字、詞之間反向的語(yǔ)義聯(lián)系，并且綜合應(yīng)用了多種文本匹配模型，使文本上下文之間的特征信息表達(dá)得更為全面、準(zhǔn)確和充分，增加了文本匹配的準(zhǔn)確度。

技術(shù)領(lǐng)域

本申請(qǐng)屬于自然語(yǔ)言處理領(lǐng)域，特別涉及一種文本語(yǔ)義匹配的方法及裝置。

背景技術(shù)

文本匹配用于獲取兩篇文本的相關(guān)或者相似程度，是自然語(yǔ)言處理領(lǐng)域的一個(gè)核心技術(shù)，能夠有效表示和抽取文本的語(yǔ)義信息，在信息檢索、信息抽取、自動(dòng)問(wèn)答等領(lǐng)域都有重要的意義。

現(xiàn)有的文本匹配技術(shù)主要是通過(guò)將兩篇文本分別轉(zhuǎn)化為向量的形式，再通過(guò)余弦、歐式距離等方法計(jì)算兩個(gè)向量的相似度，用得到的相似度表示對(duì)兩篇文本進(jìn)行文本匹配的結(jié)果。

隨著深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的興起，產(chǎn)生了CNN(Convolutional Neural Networks，卷積神經(jīng)網(wǎng)絡(luò))、RNN(Recurrent neural Network，循環(huán)神經(jīng)網(wǎng)絡(luò))和LSTM(Long Short-TermMemory，長(zhǎng)短期記憶網(wǎng)絡(luò))等計(jì)算兩個(gè)相似文本相似度的計(jì)算模型。通常，使用CNN、RNN或者LSTM中的一種模型對(duì)多篇文本進(jìn)行文本匹配。

CNN首先對(duì)待處理文本進(jìn)行分詞處理，得到多個(gè)詞，即多個(gè)字段，每個(gè)字段對(duì)應(yīng)一個(gè)向量，拼接所有所述向量，獲得一個(gè)總向量，再利用預(yù)設(shè)的卷積核對(duì)所述總向量進(jìn)行卷積處理，獲得局部信息向量。由于CNN無(wú)法充分考慮文本中字段的序列信息，序列信息是指文本中詞/字出現(xiàn)的順序關(guān)系，比如“我愛(ài)你”和“你愛(ài)我”表示的是不同的意思，但是CNN無(wú)法得到這種順序信息，因此，CNN會(huì)認(rèn)為這兩個(gè)文本表示的是同樣的意思。

RNN經(jīng)常被用來(lái)處理序列化數(shù)據(jù)。RNN通過(guò)建立一條單向的鏈?zhǔn)缴窠?jīng)網(wǎng)絡(luò)，將序列化數(shù)據(jù)中的信息流從鏈?zhǔn)缴窠?jīng)網(wǎng)絡(luò)的一側(cè)傳遞到另外一側(cè)。因此，相比其他神經(jīng)網(wǎng)絡(luò)而言，循環(huán)神經(jīng)網(wǎng)絡(luò)能夠更好地處理序列化數(shù)據(jù)。然而，樸素的循環(huán)神經(jīng)網(wǎng)絡(luò)通常會(huì)存在梯度消失或者梯度爆炸的問(wèn)題。

在RNN訓(xùn)練過(guò)程中是根據(jù)梯度來(lái)更新網(wǎng)絡(luò)參數(shù)的，梯度消失和梯度爆炸使梯度的計(jì)算和更新變得非常困難，因此導(dǎo)致訓(xùn)練的網(wǎng)絡(luò)效果差。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N文本語(yǔ)義匹配的方法及裝置，有機(jī)結(jié)合多種文本表示以及文本語(yǔ)義匹配的方法，以解決傳統(tǒng)文本語(yǔ)義匹配方法缺少序列信息、梯度消失或者梯度爆炸的問(wèn)題。

本申請(qǐng)?zhí)峁┑姆椒òǎ?/p>

一種文本語(yǔ)義匹配的方法，其特征在于，包括：

獲取基礎(chǔ)文本中的基礎(chǔ)詞和基礎(chǔ)字符，所述基礎(chǔ)文本包括至少一個(gè)基礎(chǔ)詞，每個(gè)基礎(chǔ)詞包括至少一個(gè)基礎(chǔ)字符；

根據(jù)所述基礎(chǔ)詞和基礎(chǔ)字符獲取基礎(chǔ)輸入向量；

對(duì)所述基礎(chǔ)輸入向量進(jìn)行卷積處理，獲得至少一個(gè)基礎(chǔ)局部信息向量；

根據(jù)所述基礎(chǔ)局部信息向量獲取基礎(chǔ)局部信息平均向量；

對(duì)所述基礎(chǔ)局部信息平均向量進(jìn)行不具有注意力機(jī)制的雙向LSTM處理，得到基礎(chǔ)池化向量；

獲取目標(biāo)文本中的目標(biāo)詞和目標(biāo)字符，所述目標(biāo)文本包括至少一個(gè)目標(biāo)詞，每個(gè)目標(biāo)詞包括至少一個(gè)目標(biāo)字符；

根據(jù)所述目標(biāo)詞和目標(biāo)字符獲取目標(biāo)輸入向量；

對(duì)所述目標(biāo)輸入向量進(jìn)行卷積處理，獲得至少一個(gè)目標(biāo)局部信息向量；