[發(fā)明專利]一種實(shí)體名稱分析識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810136345.8
• 申請(qǐng)日: 2018-02-09
• 公開(kāi)（公告）號(hào): CN108460016A
• 公開(kāi)（公告）日: 2018-08-28
• 發(fā)明（設(shè)計(jì)）人: 陳剛;何積豐
• 申請(qǐng)（專利權(quán)）人: 中云開(kāi)源數(shù)據(jù)技術(shù)(上海)有限公司
• 主分類號(hào): G06F17/27
• 分類號(hào): G06F17/27;G06F17/30
• 代理公司: 上海世圓知識(shí)產(chǎn)權(quán)代理有限公司 31320
• 代理人: 陳穎潔;王佳妮

本發(fā)明公開(kāi)了一種實(shí)體名稱分析識(shí)別方法，包括以下步驟，檢索詞獲取步驟、數(shù)據(jù)庫(kù)生成步驟、實(shí)體全稱候選詞集生成步驟、實(shí)體全稱候選詞篩選步驟、實(shí)體簡(jiǎn)稱候選詞集生成步驟、實(shí)體簡(jiǎn)稱候選詞篩選步驟。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語(yǔ)言處理等領(lǐng)域，具體為一種實(shí)體名稱分析識(shí)別方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)的快速發(fā)展，產(chǎn)生了大量的、公開(kāi)的網(wǎng)頁(yè)數(shù)據(jù)，也因此催發(fā)了各種基于大數(shù)據(jù)技術(shù)的新興產(chǎn)業(yè)，比如互聯(lián)網(wǎng)醫(yī)療、互聯(lián)網(wǎng)教育、企業(yè)或者個(gè)人征信等。怎樣從這些大數(shù)據(jù)中有效的、快速的提取所需的數(shù)據(jù)是檢索人員需要掌握的，同時(shí)也是數(shù)據(jù)開(kāi)發(fā)這需要不斷完善的，在實(shí)體名稱檢索中，除了常見(jiàn)的按照“省市+關(guān)鍵字+行業(yè)+組織形式”的規(guī)則來(lái)命名之外，還存在大量的例外，比如公司名沒(méi)有使用省市作為開(kāi)頭，又或者在非正式文本里，公司名可能以簡(jiǎn)寫(xiě)、縮寫(xiě)的方式出現(xiàn)，這直接導(dǎo)致了使用傳統(tǒng)的方式來(lái)進(jìn)行的信息解析的召回率不高。

現(xiàn)有的技術(shù)方案中，雖然也出現(xiàn)了許多通過(guò)雙向遞歸神經(jīng)網(wǎng)絡(luò)來(lái)解決該問(wèn)題的方法，但方法較復(fù)雜。

發(fā)明內(nèi)容

本發(fā)明的目的是：提供一種實(shí)體名稱分析識(shí)別方法，以解決現(xiàn)有技術(shù)中至少一技術(shù)問(wèn)題。

實(shí)現(xiàn)上述目的的技術(shù)方案是：一種實(shí)體名稱分析識(shí)別方法，包括以下步驟，檢索詞獲取步驟，獲取輸入的實(shí)體相關(guān)的檢索詞；數(shù)據(jù)庫(kù)生成步驟，根據(jù)所述檢索詞分別生成對(duì)應(yīng)的實(shí)體基本信息庫(kù)和實(shí)體輿情信息庫(kù)；實(shí)體全稱候選詞集生成步驟，定義實(shí)體全稱的特征詞，根據(jù)該特征詞在實(shí)體基本信息庫(kù)中檢索特征詞，并對(duì)檢索到的特征詞分析，生成實(shí)體全稱候選詞；實(shí)體全稱候選詞篩選步驟，在實(shí)體全稱候選詞集中，根據(jù)自定義特征篩選出有效的實(shí)體全稱；實(shí)體簡(jiǎn)稱候選詞集生成步驟，對(duì)有效的實(shí)體全稱進(jìn)行排列組合，生成實(shí)體簡(jiǎn)稱候選詞集；實(shí)體簡(jiǎn)稱候選詞篩選步驟，在實(shí)體輿情信息庫(kù)中檢索實(shí)體簡(jiǎn)稱候選詞集中的每一實(shí)體簡(jiǎn)稱候選詞，根據(jù)檢索到的結(jié)果進(jìn)行分析，得到有效的實(shí)體簡(jiǎn)稱。

在本發(fā)明一較佳實(shí)施例中，所述數(shù)據(jù)庫(kù)生成步驟包括實(shí)體基本信息庫(kù)生成步驟，根據(jù)與實(shí)體相關(guān)的檢索詞搜索與該檢索詞相關(guān)的實(shí)體基本信息，建立唯一的實(shí)體信息集合，并生成實(shí)體基本信息庫(kù)；以及實(shí)體輿情信息庫(kù)生成步驟，根據(jù)與實(shí)體相關(guān)的檢索詞搜索與該檢索詞相關(guān)的實(shí)體輿情信息，建立唯一的實(shí)體輿情信息集合，并生成實(shí)體輿情信息庫(kù)。

在本發(fā)明一較佳實(shí)施例中，所述實(shí)體輿情信息庫(kù)生成步驟包括，利用分詞方法、基于停用詞庫(kù)TF-IDF的降維方法及文獻(xiàn)相似度計(jì)算方法，對(duì)實(shí)體輿情信息進(jìn)行篩選，去除重復(fù)的實(shí)體輿情信息。

在本發(fā)明一較佳實(shí)施例中，在所述實(shí)體全稱候選詞集生成步驟中，所述特征詞為邊界詞，包括開(kāi)頭詞和結(jié)尾詞，根據(jù)邊界詞在所述實(shí)體基本信息庫(kù)中找出對(duì)應(yīng)的邊界詞，將開(kāi)頭詞、結(jié)尾詞以及開(kāi)頭次與結(jié)尾詞之間的詞作為實(shí)體全稱候選詞，并生成實(shí)體全稱候選詞集。

在本發(fā)明一較佳實(shí)施例中，開(kāi)頭詞具體設(shè)定為國(guó)家名稱、省份名稱、直轄市名稱及市名稱，結(jié)尾詞為廠或公司。

在本發(fā)明一較佳實(shí)施例中，所述自定義特征包括候選詞長(zhǎng)度特征、候選詞中標(biāo)點(diǎn)符號(hào)特征，當(dāng)某一所述實(shí)體全稱候選詞的候選詞長(zhǎng)度特征滿足預(yù)設(shè)值，且該實(shí)體全稱候選詞的候選詞中無(wú)標(biāo)點(diǎn)符號(hào)特征，則該實(shí)體全稱候選詞為有效的實(shí)體全稱，否則為無(wú)效的實(shí)體全稱。

在本發(fā)明一較佳實(shí)施例中，所述實(shí)體簡(jiǎn)稱候選詞集生成步驟包括詞組生成步驟，選取有效的實(shí)體全稱中的字并按照原有的前后順序重新排列組合，得到詞組集合；詞組排序步驟，對(duì)排列后的詞組按照詞組長(zhǎng)短進(jìn)行排列，并去除重復(fù)的詞組，得到實(shí)體簡(jiǎn)稱候選詞集。

在本發(fā)明一較佳實(shí)施例中，所述實(shí)體簡(jiǎn)稱候選詞篩選步驟包括詞頻計(jì)算步驟，在實(shí)體輿情信息庫(kù)中，提取并計(jì)算所述實(shí)體簡(jiǎn)稱候選詞出現(xiàn)的詞頻；新聞信息條數(shù)統(tǒng)計(jì)步驟，統(tǒng)計(jì)所述實(shí)體輿情信息庫(kù)中的新聞信息條數(shù)；比值計(jì)算步驟，計(jì)算詞頻與新聞信息條數(shù)的比值；比值判斷步驟，判斷該比值是否達(dá)到預(yù)設(shè)值，若是，則將該實(shí)體簡(jiǎn)稱候選詞作為有效的實(shí)體簡(jiǎn)稱。