[發(fā)明專利]基于復(fù)合神經(jīng)網(wǎng)絡(luò)的語義關(guān)系推斷系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201811446102.0
• 申請日: 2018-11-29
• 公開（公告）號: CN111241843B
• 公開（公告）日: 2023-09-22
• 發(fā)明（設(shè)計）人: 何廣;朱琦;林鵬飛;袁源;覃玲華;毛仕文;陳開添
• 申請（專利權(quán)）人: 中國移動通信集團(tuán)廣東有限公司;中國移動通信集團(tuán)有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/284;G06F18/2411;G06N3/0464;G06N3/08;G06F16/35
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王瑩;李相雨

本發(fā)明實施例提供一種基于復(fù)合神經(jīng)網(wǎng)絡(luò)的語義關(guān)系推斷系統(tǒng)和方法。所述系統(tǒng)包括特征提取單元、訓(xùn)練單元以及決策單元，所述訓(xùn)練單元包括雙生長短期記憶神經(jīng)網(wǎng)絡(luò)模型、分解焦距模型以及增強(qiáng)序列推斷模型，特征提取單元，用于提取輸入文本的詞向量輸出至所述訓(xùn)練單元；訓(xùn)練單元，用于接收所述詞向量，將需要匹配的兩個文本的詞向量分別進(jìn)行雙生長短期記憶神經(jīng)網(wǎng)絡(luò)模型、分解焦距模型以及增強(qiáng)序列推斷模型的訓(xùn)練，將各模型輸出的結(jié)果向量輸出至決策單元；決策單元，用于接收訓(xùn)練單元輸入的結(jié)果向量，通過梯度增強(qiáng)決策樹進(jìn)行整合后輸出需要匹配的兩個文本的語義關(guān)系。本發(fā)明實施例能夠提高同義詞語義關(guān)系檢測的精準(zhǔn)度。

技術(shù)領(lǐng)域

本發(fā)明實施例涉及自然語言處理技術(shù)領(lǐng)域，尤其涉及一種基于復(fù)合神經(jīng)網(wǎng)絡(luò)的語義關(guān)系推斷系統(tǒng)和方法。

背景技術(shù)

隨著深度學(xué)習(xí)的興起，基于神經(jīng)網(wǎng)絡(luò)的語義分析成為研究熱點，同義詞、近義詞語義關(guān)系的檢測成為推斷短文本上下文關(guān)系的關(guān)鍵。

目前，提高語義關(guān)系推斷的方法精準(zhǔn)性的方式主要是通過大量的人工特征提取。通常是基于業(yè)務(wù)情況、數(shù)據(jù)狀況進(jìn)行的針對性提取。例如，對常見的業(yè)務(wù)同義詞進(jìn)行統(tǒng)一化等。但是該方法的精準(zhǔn)性提升通常很難遷移到另外的數(shù)據(jù)集上。同時，人工特征提取將占用系統(tǒng)構(gòu)建的大部分時間。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種基于復(fù)合神經(jīng)網(wǎng)絡(luò)的語義關(guān)系推斷系統(tǒng)和方法，用以解決現(xiàn)有技術(shù)中語義關(guān)系推斷精準(zhǔn)度低的問題。

第一方面，本發(fā)明實施例提供一種基于復(fù)合神經(jīng)網(wǎng)絡(luò)的語義關(guān)系推斷系統(tǒng)，所述系統(tǒng)包括特征提取單元、訓(xùn)練單元以及決策單元，所述訓(xùn)練單元包括雙生長短期記憶神經(jīng)網(wǎng)絡(luò)模型、分解焦距模型以及增強(qiáng)序列推斷模型，其中：

所述特征提取單元，用于提取輸入文本的詞向量輸出至所述訓(xùn)練單元；

所述訓(xùn)練單元，用于接收所述詞向量，將需要匹配的兩個文本的詞向量分別進(jìn)行雙生長短期記憶神經(jīng)網(wǎng)絡(luò)模型、分解焦距模型以及增強(qiáng)序列推斷模型的訓(xùn)練，將各模型輸出的結(jié)果向量輸出至所述決策單元；

所述決策單元，用于接收所述訓(xùn)練單元輸入的結(jié)果向量，通過梯度增強(qiáng)決策樹進(jìn)行整合后輸出需要匹配的兩個文本的語義關(guān)系。

第二方面，本發(fā)明實施例提供一種復(fù)合神經(jīng)網(wǎng)絡(luò)的語義關(guān)系推斷方法，所述方法包括：

提取輸入文本的詞向量；

對所述詞向量分別進(jìn)行雙生長短期記憶神經(jīng)網(wǎng)絡(luò)模型、分解焦距模型以及增強(qiáng)序列推斷模型的訓(xùn)練；

將各模型輸出的結(jié)果向量進(jìn)行整合后輸出需要匹配的兩個文本的語義關(guān)系。

第三方面，本發(fā)明實施例還提供一種電子設(shè)備，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序，所述處理器執(zhí)行所述程序時實現(xiàn)上述第二方面提供的方法。

第四方面，本發(fā)明實施例還提供一種非暫態(tài)計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，所述程序被處理器執(zhí)行時實現(xiàn)如上述第二方面提供的方法。

本發(fā)明實施例通過將詞向量分別進(jìn)行雙生長短期記憶神經(jīng)網(wǎng)絡(luò)模型、分解焦距模型以及增強(qiáng)序列推斷模型的訓(xùn)練，再通過梯度增強(qiáng)決策評判出詞向量的語義關(guān)系，能夠提高同義詞語義關(guān)系檢測的精準(zhǔn)度。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明一實施例提供的基于復(fù)合神經(jīng)網(wǎng)絡(luò)的語義關(guān)系推斷系統(tǒng)的結(jié)構(gòu)示意圖；

圖2為本發(fā)明一實施例提供的雙生長短期記憶神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)結(jié)構(gòu)示意圖；