[發(fā)明專(zhuān)利]一種文本檢索的新方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110130895.0
• 申請(qǐng)日: 2021-01-30
• 公開(kāi)（公告）號(hào): CN112732944A
• 公開(kāi)（公告）日: 2021-04-30
• 發(fā)明（設(shè)計(jì)）人: 盧奕南;趙延
• 申請(qǐng)（專(zhuān)利權(quán)）人: 吉林大學(xué)
• 主分類(lèi)號(hào): G06F16/36
• 分類(lèi)號(hào): G06F16/36;G06F40/242;G06N3/08
• 代理公司: 長(zhǎng)春市恒譽(yù)專(zhuān)利代理事務(wù)所(普通合伙) 22212
• 代理人: 鞠傳龍

本發(fā)明公開(kāi)一種文本檢索的新方法，其方法包括的步驟為：第一部分、使用知識(shí)圖譜中構(gòu)造多關(guān)系下的實(shí)體表示詞典集，從多個(gè)角度描述實(shí)體語(yǔ)義；第二部分、利用查詢(xún)和文檔集訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)得到模型；第三部分、給定一個(gè)檢索問(wèn)題和測(cè)試文檔集中利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行檢索。本發(fā)明的有益效果：本發(fā)明引入多關(guān)系實(shí)體表示能夠有效的引入先驗(yàn)知識(shí)，對(duì)于提高算法對(duì)語(yǔ)義的理解能力并且減少數(shù)據(jù)的使用需求有著重要作用。同時(shí)使用深度學(xué)習(xí)方法，合理的引入注意力機(jī)制將是深度學(xué)習(xí)算法優(yōu)化的關(guān)鍵。最后，隨著信息檢索文獻(xiàn)和方法的成熟，應(yīng)用更有效的圖譜實(shí)體學(xué)習(xí)方法和更合理的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，將會(huì)實(shí)現(xiàn)文本及檢索領(lǐng)域的更大突破。

技術(shù)領(lǐng)域

本發(fā)明涉及一種文本檢索方法，特別涉及一種文本檢索的新方法。

背景技術(shù)

目前，在過(guò)去的幾年中深度學(xué)習(xí)模型和知識(shí)圖譜表示推理有了很大的進(jìn)展，并在各個(gè)領(lǐng)域取得了重要突破。深度學(xué)習(xí)網(wǎng)絡(luò)因?yàn)槠涠说蕉说膬?yōu)秀提取特征能力，以及層數(shù)的疊加帶來(lái)的計(jì)算收益在很多方面超越了傳統(tǒng)的機(jī)器學(xué)習(xí)算法，在深度學(xué)習(xí)模型上發(fā)展的詞向量和文本表示模型已經(jīng)廣泛的應(yīng)用在自然語(yǔ)言的各種分支中。知識(shí)圖譜能夠描述實(shí)體的概念和實(shí)體之間關(guān)系，并構(gòu)成巨大的網(wǎng)絡(luò)關(guān)系圖，其中的概念經(jīng)過(guò)人工審核準(zhǔn)確而可靠。通過(guò)知識(shí)圖譜，能夠準(zhǔn)確的存儲(chǔ)有關(guān)實(shí)體的知識(shí)，在問(wèn)答和檢索，實(shí)體連接等任務(wù)上都有可靠的表現(xiàn)。信息檢索的目的是在龐大的文本庫(kù)中尋找有效的模型及算法，信息檢索領(lǐng)域取得的發(fā)展離不開(kāi)機(jī)器學(xué)習(xí)和自然語(yǔ)言處理領(lǐng)域的取得的巨大突破。

發(fā)明內(nèi)容

本發(fā)明的目的是利用現(xiàn)有的知識(shí)圖譜表示方法和深度學(xué)習(xí)排序?qū)W習(xí)模型提出新的文本檢索模型，以提高準(zhǔn)確率而提供的一種文本檢索的新方法。

本發(fā)明提供的文本檢索的新方法，其方法包括如下步驟：

第一部分、使用知識(shí)圖譜中構(gòu)造多關(guān)系下的實(shí)體表示詞典集，從多個(gè)角度描述實(shí)體語(yǔ)義，具體步驟如下：

步驟1、根據(jù)任務(wù)需要構(gòu)造一個(gè)知識(shí)圖譜，并由三元組進(jìn)行表示，即包含主語(yǔ)、謂詞和賓語(yǔ)的描述；

步驟2、采用基于網(wǎng)絡(luò)表示學(xué)習(xí)中的DeepWalk的方法進(jìn)行多關(guān)系的知識(shí)圖嵌入，得到各個(gè)關(guān)系下的實(shí)體表示詞典集；

第二部分、利用查詢(xún)和文檔集訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)得到模型，具體步驟如下：

步驟1、構(gòu)建訓(xùn)練集數(shù)據(jù)，同時(shí)將各檢索問(wèn)題和文檔集進(jìn)行各關(guān)系下的實(shí)體表示；

步驟2、網(wǎng)絡(luò)輸入多關(guān)系下的每對(duì)檢索和文檔的實(shí)體表示，構(gòu)建相應(yīng)的多個(gè)相似度矩陣；

步驟3、對(duì)每個(gè)矩陣進(jìn)行基于高斯核的特征提取，并引入多頭自注意力機(jī)制，提取各個(gè)關(guān)系下的特征；

步驟4、構(gòu)建全連接層，求得各個(gè)特征的排序分?jǐn)?shù)，計(jì)算出它們的平均值；

步驟5、利用Pairwise方法進(jìn)行深度學(xué)習(xí)的訓(xùn)練；

第三部分、給定一個(gè)檢索問(wèn)題和測(cè)試文檔集中利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行檢索，具體步驟如下：

步驟1、將檢索語(yǔ)句和測(cè)試文檔集進(jìn)行多個(gè)關(guān)系的實(shí)體表示；

步驟2、對(duì)每對(duì)檢索語(yǔ)句和文檔表示構(gòu)建特征，利用訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型得到各個(gè)測(cè)試檢索文檔的排序分?jǐn)?shù)；

步驟3、根據(jù)排序分?jǐn)?shù)對(duì)文檔進(jìn)行排序。

本發(fā)明的有益效果：