[發(fā)明專(zhuān)利]實(shí)體名的識(shí)別方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201410234622.0
• 申請(qǐng)日: 2014-05-29
• 公開(kāi)（公告）號(hào): CN103995885B
• 公開(kāi)（公告）日: 2017-11-17
• 發(fā)明（設(shè)計(jì)）人: 陳麗歐;徐明泉;韓鋒;姜世超;周寰;王平;雷紹澤;周豐樂(lè)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)11201
• 代理人: 宋合成

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)信息處理技術(shù)領(lǐng)域，特別涉及一種實(shí)體名的識(shí)別方法和裝置。

背景技術(shù)

隨著計(jì)算機(jī)的廣泛使用和互聯(lián)網(wǎng)的快速發(fā)展，互聯(lián)網(wǎng)資源逐漸豐富，信息量急劇增大。為了使用戶(hù)能夠在海量的信息源中迅速找到真正需要的信息，需要對(duì)信息文檔進(jìn)行處理，以自動(dòng)識(shí)別其中的實(shí)體名，以便于用戶(hù)根據(jù)實(shí)體名查找需要的信息。目前，對(duì)實(shí)體名的自動(dòng)識(shí)別是一項(xiàng)技術(shù)難題。實(shí)體名的類(lèi)型不同，其識(shí)別難度和識(shí)別方法也各不相同。實(shí)體名的識(shí)別主要有統(tǒng)計(jì)學(xué)習(xí)的方法和基于規(guī)則的識(shí)別方法兩種方式。其中：

統(tǒng)計(jì)學(xué)習(xí)的方法包括訓(xùn)練階段和識(shí)別階段，在訓(xùn)練階段，在標(biāo)注語(yǔ)料的基礎(chǔ)上，通過(guò)抽取相關(guān)特征并選擇合適的機(jī)器學(xué)習(xí)策略來(lái)訓(xùn)練專(zhuān)名識(shí)別的模型；在識(shí)別階段，使用訓(xùn)練階段得到的模型來(lái)自動(dòng)識(shí)別新語(yǔ)料中的專(zhuān)名。但是，在訓(xùn)練階段，需要人工標(biāo)注、校對(duì)訓(xùn)練語(yǔ)料，非常耗時(shí)耗力，并且實(shí)體名不斷變化，不時(shí)會(huì)有一些新的實(shí)體名出現(xiàn)，因此訓(xùn)練語(yǔ)料也需要經(jīng)常更新，這十分耗費(fèi)人力資源，費(fèi)時(shí)費(fèi)力，且準(zhǔn)確率不高。

基于規(guī)則的識(shí)別方法的思想是將人類(lèi)用于識(shí)別實(shí)體名的語(yǔ)言學(xué)知識(shí)編寫(xiě)成若干條規(guī)則，讓機(jī)器按照這些規(guī)則對(duì)文本中的實(shí)體名進(jìn)行自動(dòng)識(shí)別。這些規(guī)則一般都依賴(lài)于具體語(yǔ)言類(lèi)型，如漢語(yǔ)、英語(yǔ)等。但是用于識(shí)別實(shí)體名的這些規(guī)則過(guò)于繁瑣復(fù)雜，且知識(shí)編碼的工作目前也沒(méi)有統(tǒng)一的指導(dǎo)性方法，因此，基于規(guī)則的方法，需要針對(duì)不同的語(yǔ)言分別編寫(xiě)識(shí)別規(guī)則，工作量大，且通用性較差。

因此，目前，實(shí)體名的識(shí)別方法普遍應(yīng)用性較差，且準(zhǔn)備工作量大，難以同時(shí)實(shí)現(xiàn)高準(zhǔn)確率且低人力資源耗費(fèi)。

發(fā)明內(nèi)容

本發(fā)明旨在至少在一定程度上解決上述技術(shù)問(wèn)題。

為此，本發(fā)明的第一個(gè)目的在于提出一種實(shí)體名的識(shí)別方法，該方法能夠提升實(shí)體名識(shí)別的準(zhǔn)確率以及通用性。

本發(fā)明的第二個(gè)目的在于提出一種實(shí)體名的識(shí)別裝置。

為達(dá)上述目的，根據(jù)本發(fā)明第一方面實(shí)施例提出了一種實(shí)體名的識(shí)別方法，包括：獲取待識(shí)別文本以及所述待識(shí)別文本的來(lái)源信息；根據(jù)所述待識(shí)別文本的來(lái)源信息和識(shí)別模型獲取所述待識(shí)別文本中的第一實(shí)體名；根據(jù)預(yù)先建立的詞根表和預(yù)設(shè)約束規(guī)則從所述待識(shí)別文本中非第一實(shí)體名的內(nèi)容中獲取第二實(shí)體名。

本發(fā)明實(shí)施例的實(shí)體名的識(shí)別方法，根據(jù)待識(shí)別文本的來(lái)源信息和識(shí)別模型獲取待識(shí)別文本中的第一實(shí)體名，并根據(jù)詞根表和預(yù)設(shè)規(guī)則獲取待識(shí)別文本中的第二實(shí)體名，充分結(jié)合了統(tǒng)計(jì)學(xué)習(xí)方法和基于規(guī)則的識(shí)別方法二者的優(yōu)勢(shì)，提升了實(shí)體名識(shí)別的準(zhǔn)確率和召回率，可適用于各種語(yǔ)言類(lèi)型，通用性較強(qiáng)。此外，對(duì)于創(chuàng)意文本中的實(shí)體名的有效識(shí)別，極大的滿(mǎn)足創(chuàng)意中個(gè)性化需求，且滿(mǎn)足了法務(wù)風(fēng)險(xiǎn)詞匯的識(shí)別需求。

本發(fā)明第二方面實(shí)施例提供了一種實(shí)體名的識(shí)別裝置，包括：獲取模塊，用于獲取待識(shí)別文本以及所述待識(shí)別文本的來(lái)源信息；第一識(shí)別模塊，用于根據(jù)所述待識(shí)別文本的來(lái)源信息和識(shí)別模型獲取所述待識(shí)別文本中的第一實(shí)體名；第二識(shí)別模塊，用于根據(jù)預(yù)先建立的詞根表和預(yù)設(shè)約束規(guī)則從所述待識(shí)別文本中非第一實(shí)體名的內(nèi)容中獲取第二實(shí)體名。

本發(fā)明實(shí)施例的實(shí)體名的識(shí)別裝置，根據(jù)待識(shí)別文本的來(lái)源信息和識(shí)別模型獲取待識(shí)別文本中的第一實(shí)體名，并根據(jù)詞根表和預(yù)設(shè)規(guī)則獲取待識(shí)別文本中的第二實(shí)體名，充分結(jié)合了統(tǒng)計(jì)學(xué)習(xí)方法和基于規(guī)則的識(shí)別方法二者的優(yōu)勢(shì)，提升了實(shí)體名識(shí)別的準(zhǔn)確率和召回率，可適用于各種語(yǔ)言類(lèi)型，通用性較強(qiáng)。此外，對(duì)于創(chuàng)意文本中的實(shí)體名的有效識(shí)別，極大的滿(mǎn)足創(chuàng)意中個(gè)性化需求，且滿(mǎn)足了法務(wù)風(fēng)險(xiǎn)詞匯的識(shí)別需求。

本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。

附圖說(shuō)明

本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中：

圖1為根據(jù)本發(fā)明一個(gè)實(shí)施例的實(shí)體名的識(shí)別方法的流程圖；

圖2為根據(jù)本發(fā)明一個(gè)實(shí)施例的根據(jù)待識(shí)別文本的來(lái)源信息和識(shí)別模型獲取待識(shí)別文本中的第一實(shí)體名的方法的流程圖；

圖3為根據(jù)本發(fā)明一個(gè)實(shí)施例的根據(jù)預(yù)先建立的詞根表和預(yù)設(shè)約束規(guī)則從待識(shí)別文本中非第一實(shí)體名的內(nèi)容中獲取第二實(shí)體名的流程圖；

圖4為根據(jù)本發(fā)明一個(gè)實(shí)施例的建立詞根表和詞綴表的方法的流程圖；

圖5為根據(jù)本發(fā)明一個(gè)實(shí)施例的建立詞根識(shí)別模型的方法的流程圖；

圖6為根據(jù)本發(fā)明一個(gè)實(shí)施例的建立實(shí)體識(shí)別模型的方法的流程圖；

圖7為根據(jù)本發(fā)明一個(gè)實(shí)施例的實(shí)體名的識(shí)別裝置的結(jié)構(gòu)示意圖；