[發(fā)明專利]一種實(shí)體精細(xì)分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711366934.7
• 申請(qǐng)日: 2017-12-18
• 公開(kāi)（公告）號(hào): CN108052625B
• 公開(kāi)（公告）日: 2020-05-19
• 發(fā)明（設(shè)計(jì)）人: 劉知遠(yuǎn);辛極;林衍凱;孫茂松
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F16/36
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 苗青盛;馬英迪

本發(fā)明提供一種實(shí)體精細(xì)分類方法，包括：基于目標(biāo)實(shí)體文本中各單詞對(duì)應(yīng)的單詞向量，計(jì)算實(shí)體表示向量；基于句子中目標(biāo)實(shí)體文本兩側(cè)各單詞分別對(duì)應(yīng)的語(yǔ)境單詞向量，獲取目標(biāo)實(shí)體文本的基礎(chǔ)語(yǔ)境向量；基于目標(biāo)實(shí)體文本的知識(shí)庫(kù)表示向量和基礎(chǔ)語(yǔ)境向量，計(jì)算所述兩側(cè)各單詞分別對(duì)應(yīng)的知識(shí)庫(kù)相關(guān)注意力值；基于所述知識(shí)庫(kù)相關(guān)注意力值及所述基礎(chǔ)語(yǔ)境向量，計(jì)算目標(biāo)實(shí)體文本的知識(shí)庫(kù)相關(guān)語(yǔ)境向量；合并所述目標(biāo)實(shí)體文本的實(shí)體表示向量和知識(shí)庫(kù)相關(guān)語(yǔ)境向量，獲取句子表示向量，基于該句子表示向量，利用于建的目標(biāo)分類器模型，獲取目標(biāo)實(shí)體文本屬于各給定類別的概率。本發(fā)明能夠有效提高分類模型的穩(wěn)定性，并有效改善實(shí)體精細(xì)分類的效果。

技術(shù)領(lǐng)域

本發(fā)明涉及信息處理技術(shù)領(lǐng)域，更具體地，涉及一種實(shí)體精細(xì)分類方法。

背景技術(shù)

實(shí)體分類的任務(wù)是識(shí)別實(shí)體文本的語(yǔ)義類型，如人物名、地點(diǎn)名、組織名等。該任務(wù)有助于精確定位文本中的實(shí)體，對(duì)于自然語(yǔ)言處理的很多其他任務(wù)具有重要的意義。

實(shí)體精細(xì)分類是實(shí)體分類新的研究方向，可以把實(shí)體分成更加精細(xì)的類別，如人物——運(yùn)動(dòng)員或地名——國(guó)家等。現(xiàn)有的精細(xì)分類方法包括涉及特征的傳統(tǒng)方法和利用詞向量作為特征的深度學(xué)習(xí)方法。其中，采用深度學(xué)習(xí)的方法：

一方面，把實(shí)體本身和語(yǔ)境當(dāng)作兩個(gè)獨(dú)立的因素來(lái)考慮，單獨(dú)從實(shí)體文本本身方向判斷所屬分類。而事實(shí)上語(yǔ)境中每個(gè)詞的重要性是根據(jù)所考慮的實(shí)體變化的。如在例句“蓋茨和艾倫聯(lián)合創(chuàng)立了微軟這個(gè)世界上最大的軟件公司”中，“公司”一詞對(duì)于判斷“微軟”的類型非常重要，但是對(duì)于判斷“蓋茨”的類型則沒(méi)有那么重要。

另一方面，為了結(jié)構(gòu)化地對(duì)現(xiàn)實(shí)世界的知識(shí)進(jìn)行存儲(chǔ)和處理，很多大規(guī)模知識(shí)圖譜被建立，如Wikidata和DBpedia等。知識(shí)圖譜將世界上所有人物、地名、機(jī)構(gòu)名等專有名詞和事物表示為實(shí)體，將實(shí)體之間的內(nèi)在聯(lián)系表示為關(guān)系，旨在將數(shù)據(jù)庫(kù)中的海量知識(shí)表示為實(shí)體之間利用關(guān)系作為橋梁的三元關(guān)系組。例如，“加拿大與美國(guó)接壤”這一知識(shí)，在知識(shí)圖譜中利用“加拿大，共享邊界，美國(guó)”的三元組關(guān)系進(jìn)行表示。這種關(guān)系信息可以為實(shí)體分類提供幫助，例如，如果知道了上述三元組，則可以推斷出句子中的“加拿大”很可能是一個(gè)國(guó)家。然而，采用深度學(xué)習(xí)的精細(xì)分類方法中并沒(méi)有考慮知識(shí)圖譜中的這些關(guān)系信息。

綜上可見(jiàn)，采用深度學(xué)習(xí)的精細(xì)分類方法在利用大規(guī)模訓(xùn)練數(shù)據(jù)上有獨(dú)特的優(yōu)勢(shì)，能夠達(dá)到較佳的水平。但是，該方法由于采用實(shí)體與語(yǔ)境分離以及文本與知識(shí)庫(kù)分離的處理方式，將導(dǎo)致對(duì)實(shí)體精細(xì)分類的效果不佳。

發(fā)明內(nèi)容

為了克服上述問(wèn)題或者至少部分地解決上述問(wèn)題，本發(fā)明提供一種實(shí)體精細(xì)分類方法，用以有效提高分類模型的穩(wěn)定性，并有效改善實(shí)體精細(xì)分類的效果。

本發(fā)明提供一種實(shí)體精細(xì)分類方法，包括：S1，基于目標(biāo)實(shí)體文本中各單詞對(duì)應(yīng)的單詞向量，計(jì)算所述目標(biāo)實(shí)體文本的實(shí)體表示向量；S2，基于句子中所述目標(biāo)實(shí)體文本兩側(cè)各單詞分別對(duì)應(yīng)的語(yǔ)境單詞向量，利用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)，獲取所述目標(biāo)實(shí)體文本的基礎(chǔ)語(yǔ)境向量；S3，基于所述目標(biāo)實(shí)體文本的知識(shí)庫(kù)表示向量和所述基礎(chǔ)語(yǔ)境向量，計(jì)算所述兩側(cè)各單詞分別對(duì)應(yīng)的知識(shí)庫(kù)相關(guān)注意力值；S4，基于所述兩側(cè)各單詞分別對(duì)應(yīng)的知識(shí)庫(kù)相關(guān)注意力值，以及所述目標(biāo)實(shí)體文本的基礎(chǔ)語(yǔ)境向量，計(jì)算所述目標(biāo)實(shí)體文本的知識(shí)庫(kù)相關(guān)語(yǔ)境向量；S5，合并所述目標(biāo)實(shí)體文本的實(shí)體表示向量和知識(shí)庫(kù)相關(guān)語(yǔ)境向量，獲取所述句子對(duì)應(yīng)的句子表示向量，并基于所述句子表示向量，利用預(yù)先建立的目標(biāo)分類器模型，獲取所述目標(biāo)實(shí)體文本屬于各給定類別的概率。

其中，建立步驟S5中所述目標(biāo)分類器模型的步驟進(jìn)一步包括：基于所述句子表示向量，根據(jù)非線性層函數(shù)和邏輯斯蒂函數(shù)(Logistic Function)建立初始分類器模型；以所述初始分類器模型所有維度的交叉熵作為優(yōu)化目標(biāo)，利用給定訓(xùn)練樣本訓(xùn)練所述初始分類器模型，通過(guò)梯度下降法優(yōu)化所述優(yōu)化目標(biāo)，獲取所述目標(biāo)分類器模型。