[發(fā)明專利]基于bert算法模型的知識(shí)圖譜構(gòu)建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201911114513.4
• 申請(qǐng)日: 2019-11-14
• 公開(kāi)（公告）號(hào): CN111221976A
• 公開(kāi)（公告）日: 2020-06-02
• 發(fā)明（設(shè)計(jì)）人: 牛志超;南海濤;劉林;馬語(yǔ)菡;王俊;費(fèi)廷偉;劉戎;徐永偉;高曉瓊
• 申請(qǐng)（專利權(quán)）人: 北京京航計(jì)算通訊研究所
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36
• 代理公司: 中國(guó)兵器工業(yè)集團(tuán)公司專利中心 11011
• 代理人: 周恒

本發(fā)明屬于知識(shí)圖譜技術(shù)領(lǐng)域，具體涉及一種基于bert算法模型的知識(shí)圖譜構(gòu)建方法。與現(xiàn)有技術(shù)相比較，本發(fā)明通過(guò)使用bert?bilstm?crf中文命名識(shí)別深度學(xué)習(xí)算法對(duì)歸零文檔段落中的數(shù)據(jù)進(jìn)行實(shí)體提取；利用句法依存關(guān)系對(duì)關(guān)系提取，并通過(guò)領(lǐng)域圖譜的上下位關(guān)系、同意關(guān)系、反義關(guān)系、關(guān)聯(lián)關(guān)系實(shí)現(xiàn)多個(gè)文檔的橫向和縱向關(guān)聯(lián)，形成歸零文檔的知識(shí)體系和知識(shí)圖譜。與現(xiàn)有技術(shù)相比，本發(fā)明提出的技術(shù)方案，實(shí)現(xiàn)了軍工集團(tuán)歸零文檔知識(shí)的體系化、結(jié)構(gòu)化和知識(shí)化等，同時(shí)，基于bert?bilstm?crf中文命名識(shí)別算法模型，也保證了段落實(shí)體提取的快速性和精準(zhǔn)性。

技術(shù)領(lǐng)域

本發(fā)明屬于知識(shí)圖譜技術(shù)領(lǐng)域，具體涉及一種基于bert算法模型的知識(shí)圖譜構(gòu)建方法。

背景技術(shù)

在軍工集團(tuán)，每年會(huì)產(chǎn)生大量的歸零文檔，但是現(xiàn)階段只是將這些非結(jié)構(gòu)化文檔存儲(chǔ)在磁盤(pán)或者知識(shí)庫(kù)中，缺乏有效的處理手段對(duì)歸零文檔的知識(shí)進(jìn)行進(jìn)一步的處理，而利用知識(shí)圖譜的方法可以將歸零文檔的知識(shí)體系化、結(jié)構(gòu)化和知識(shí)化。常用的知識(shí)圖譜實(shí)體提取方法包括：基于語(yǔ)義序列核方法、特征向量法、bilstm-crf中文命名識(shí)別方法等。語(yǔ)義序列核方法是結(jié)合中文文本的語(yǔ)義特征，利用七條啟發(fā)規(guī)則來(lái)抽取實(shí)體；基于特征向量法是將實(shí)體抽取問(wèn)題轉(zhuǎn)化為實(shí)體分類問(wèn)題，常用的特征包括：上下文特征、動(dòng)詞特征、距離特征等；基于bilstm-crf中文命名識(shí)別方法是一種端到端的過(guò)程，不依賴特征工程，是一種數(shù)據(jù)驅(qū)動(dòng)方法。

面對(duì)大量的非結(jié)構(gòu)化文本，進(jìn)行圖譜實(shí)體提取時(shí)大多數(shù)算法都能提取文檔中實(shí)體，但是都存在精確度低、速度慢、消耗人力的特點(diǎn)。其中，基于語(yǔ)義序列核方法，在構(gòu)建規(guī)則的過(guò)程往往需要大量的語(yǔ)言學(xué)知識(shí)，不同的語(yǔ)言規(guī)則不盡相同，而且很難處理規(guī)則之間的沖突，同時(shí)構(gòu)建規(guī)則的過(guò)程費(fèi)時(shí)費(fèi)力、可移植性不還；基于特征向量的實(shí)體提取方法適合于包含兩個(gè)句子的關(guān)系抽取；基于bilstm-crf中文命名識(shí)別方法無(wú)法有效的增強(qiáng)字的語(yǔ)義和字的多義性、無(wú)法對(duì)文本上下文全向預(yù)測(cè)。

發(fā)明內(nèi)容

(一)要解決的技術(shù)問(wèn)題

本發(fā)明要解決的技術(shù)問(wèn)題是：為了快速、精準(zhǔn)處理大量、復(fù)雜、互連、多變的非結(jié)構(gòu)化歸零文檔數(shù)據(jù)，如何形成知識(shí)圖譜和知識(shí)體系，方便相關(guān)人員快速理解歸零文檔知識(shí)和全面的了解歸零文檔體系，為軍工集團(tuán)相關(guān)應(yīng)用提供基礎(chǔ)的數(shù)據(jù)支撐。

(二)技術(shù)方案

為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種基于bert算法模型的知識(shí)圖譜構(gòu)建方法，所述方法包括如下步驟：

步驟1：對(duì)歸零文檔領(lǐng)域的數(shù)據(jù)做預(yù)處理得到實(shí)體識(shí)別模型需要的標(biāo)注數(shù)據(jù)集；利用標(biāo)注數(shù)據(jù)集訓(xùn)練bert-bilstm-crf中文命名識(shí)別算法模型，得到歸零文檔實(shí)體識(shí)別模型；

步驟2：讀入歸零文檔，對(duì)歸零文檔做預(yù)處理，降低異常值和冗余數(shù)據(jù)的干擾，得到低噪聲的文本數(shù)據(jù)；將低噪聲的文本數(shù)據(jù)按照章節(jié)目錄結(jié)構(gòu)進(jìn)行切分，切成與章節(jié)目錄對(duì)應(yīng)的段落，使每個(gè)章節(jié)目錄與段落一一映射，形成若干個(gè)有章節(jié)目錄的段落；

步驟3：利用歸零文檔實(shí)體識(shí)別模型對(duì)有章節(jié)目錄的段落數(shù)據(jù)進(jìn)行實(shí)體提取；同時(shí)利用句法依存關(guān)系算法提取實(shí)體與實(shí)體之間的關(guān)系，將提取的關(guān)系與提取到的實(shí)體一一連接，形成知識(shí)圖譜的三元組；

步驟4：因此利用上下位關(guān)系、同意關(guān)系、反義關(guān)系、關(guān)聯(lián)關(guān)系將多個(gè)歸零文檔實(shí)體的橫向和縱向關(guān)聯(lián)打通，形成整體歸零文檔知識(shí)圖譜三元組；

步驟5：將最終生成的整體歸零文檔知識(shí)圖譜三元組存儲(chǔ)在圖數(shù)據(jù)庫(kù)中，形成知識(shí)圖譜，為后續(xù)的相關(guān)應(yīng)用提供基礎(chǔ)的數(shù)據(jù)支撐。

其中，所述步驟3和步驟4之間，還包括：

由于歸零文檔本身知識(shí)體系的不完善性，結(jié)合歸零文檔和公開(kāi)的領(lǐng)域詞典對(duì)提取的實(shí)體和關(guān)系進(jìn)行融合和完善，使實(shí)體和關(guān)系更加完善充實(shí)，最終形成單文檔的知識(shí)圖譜三元組。

其中，所述公開(kāi)的領(lǐng)域詞典包括來(lái)自清華的領(lǐng)域詞典。