[發(fā)明專(zhuān)利]釋義文本深度匹配模型構(gòu)建方法與釋義文本深度匹配方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810836453.6
• 申請(qǐng)日: 2018-07-26
• 公開(kāi)（公告）號(hào): CN109145292B
• 公開(kāi)（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 孔蕾蕾;韓中元;齊浩亮;韓詠;孫栩;于海浩
• 申請(qǐng)（專(zhuān)利權(quán)）人: 黑龍江工程學(xué)院
• 主分類(lèi)號(hào): G06F40/211
• 分類(lèi)號(hào): G06F40/211;G06F40/30;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 哈爾濱市陽(yáng)光惠遠(yuǎn)知識(shí)產(chǎn)權(quán)代理有限公司 23211
• 代理人: 劉景祥

本發(fā)明提供了一種釋義文本深度匹配模型構(gòu)建方法與釋義文本深度匹配方法。釋義文本深度匹配模型構(gòu)建方法包括：獲得訓(xùn)練樣本集，訓(xùn)練樣本集包括多個(gè)訓(xùn)練句對(duì)，每個(gè)訓(xùn)練句對(duì)包括第一與第二訓(xùn)練語(yǔ)句及其之間的語(yǔ)義匹配分?jǐn)?shù)；獲得各訓(xùn)練語(yǔ)句中每個(gè)詞的語(yǔ)義特征向量和句法特征向量，計(jì)算該詞的語(yǔ)義特征向量和句法特征向量之張量積，將該語(yǔ)句中各詞對(duì)應(yīng)的張量積的矩陣和確定為該訓(xùn)練語(yǔ)句的句法與語(yǔ)義交互特征量；將每個(gè)訓(xùn)練句對(duì)中的第一與第二訓(xùn)練語(yǔ)句的句法與語(yǔ)義交互特征量之矩陣差作為該訓(xùn)練句對(duì)的句法與語(yǔ)義交互特征量；利用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)每個(gè)訓(xùn)練句對(duì)進(jìn)行訓(xùn)練，得到釋義文本深度匹配模型。上述技術(shù)能夠提高文本釋義識(shí)別的準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明涉及技術(shù)，尤其涉及一種釋義文本深度匹配模型構(gòu)建方法與釋義文本深度匹配方法。

背景技術(shù)

文本釋義識(shí)別的目標(biāo)是判斷兩個(gè)文本片段是否具有同樣的含義，即兩個(gè)文本在語(yǔ)義上是否具有釋義關(guān)系。其本質(zhì)是文本間的語(yǔ)義匹配，涉及詞義的理解、文本語(yǔ)義相似度的計(jì)算等問(wèn)題。因此，釋義識(shí)別是自然語(yǔ)言處理中最基本的問(wèn)題之一。近年來(lái)，釋義識(shí)別廣泛地應(yīng)用于復(fù)述的識(shí)別和生成、機(jī)器翻譯、問(wèn)答和文本相似度計(jì)算等自然語(yǔ)言處理領(lǐng)域，引起了研究人員越來(lái)越多的關(guān)注。

早期的釋義識(shí)別方法通常基于詞(或詞的N-gram)的確切匹配或詞空間上向量的相似度識(shí)別釋義，用詞袋模型、N-gram模型、TFIDF模型等表示文本，然后利用一些文本的相似度計(jì)算方法(如編輯距離、最長(zhǎng)公共子串、 Jaccard系數(shù)、余弦距離等)判斷兩個(gè)文本是否存在釋義關(guān)系。然而，釋義句通常采用詞或短語(yǔ)的同義詞、反義詞替換、句法修改、句子的縮減、組合、重組、詞的混排、概念的泛化和特化等手段在保留源句語(yǔ)義的前提下改變?cè)谋镜耐獗恚@使得基于詞匹配的釋義識(shí)別方法因其不考慮詞的語(yǔ)義而無(wú)法通過(guò)對(duì)文本語(yǔ)義的計(jì)算判斷文本間是否具有釋義關(guān)系。

另一種不考慮語(yǔ)義的基于句法特征的方法在釋義識(shí)別，尤其是跨語(yǔ)言的釋義識(shí)別中也獲得了廣泛的應(yīng)用。這些研究基于相似文檔具有相似句法結(jié)構(gòu)的假設(shè)。即如果兩個(gè)句子描述的是同一個(gè)事件，它們?cè)诰浞ńY(jié)構(gòu)上很可能包含相同的依賴(lài)結(jié)構(gòu)。然而，單純的依賴(lài)句法結(jié)構(gòu)的相似而不考慮語(yǔ)義的釋義識(shí)別無(wú)法解決語(yǔ)言中“句法結(jié)構(gòu)不相同的兩個(gè)句子語(yǔ)義不一定不同”的問(wèn)題。

布拉格學(xué)派的句法語(yǔ)義學(xué)提出，句子是語(yǔ)法系統(tǒng)的基本單位，句子具有句法結(jié)構(gòu)，自然語(yǔ)言撰寫(xiě)的句子不是單純的詞的集合，而是在語(yǔ)法限制下具有句法結(jié)構(gòu)的文本。Danes認(rèn)為，語(yǔ)義和句法二者之間存在相關(guān)關(guān)系，是共生相伴的，當(dāng)我們需要傳達(dá)信息，并且需要通過(guò)合適的方式表達(dá)時(shí)，句子的語(yǔ)義和句法將共同起作用。研究者將句法結(jié)構(gòu)的這一特點(diǎn)應(yīng)用于自然語(yǔ)言處理的眾多領(lǐng)域，尤其在基于句法和神經(jīng)語(yǔ)言模型的統(tǒng)計(jì)機(jī)器翻譯中獲得了成功。這啟發(fā)我們?cè)谖谋踞屃x識(shí)別中結(jié)合句法和語(yǔ)義或有助于性能的提升。

近年來(lái)，在深度學(xué)習(xí)的熱潮中，文本的釋義識(shí)別呈現(xiàn)出從傳統(tǒng)釋義識(shí)別模型向深度釋義識(shí)別模型轉(zhuǎn)移的趨勢(shì)。相對(duì)于傳統(tǒng)文本匹配的模型，各種基于連續(xù)表示的深度文本匹配模型已使釋義識(shí)別任務(wù)的性能獲得了顯著的提升。這些模型關(guān)注利用深度學(xué)習(xí)的方法表示文檔，聚焦于通過(guò)匹配程度和匹配結(jié)構(gòu)的學(xué)習(xí)識(shí)別釋義。在深度釋義識(shí)別模型中，除了廣泛接受和使用的語(yǔ)義信息之外，研究者也關(guān)注了句法結(jié)構(gòu)在構(gòu)建文本表達(dá)、計(jì)算文本語(yǔ)義匹配中的作用，提出了融合或者利用句法結(jié)構(gòu)的多語(yǔ)義深度文本匹配模型。這些研究驗(yàn)證了句法結(jié)構(gòu)在多語(yǔ)義文本深度釋義識(shí)別模型的作用。

發(fā)明內(nèi)容

在下文中給出了關(guān)于本發(fā)明的簡(jiǎn)要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡(jiǎn)化的形式給出某些概念，以此作為稍后論述的更詳細(xì)描述的前序。

鑒于此，本發(fā)明提供了一種釋義文本深度匹配模型構(gòu)建方法與釋義文本深度匹配方法，以至少解決現(xiàn)有文本釋義識(shí)別技術(shù)的識(shí)別結(jié)果不準(zhǔn)確的問(wèn)題。