[發(fā)明專利]一種地名新詞的發(fā)現(xiàn)方法

在審

• 申請?zhí)枺?/td>: 201810246763.2
• 申請日: 2018-03-23
• 公開（公告）號: CN108647199A
• 公開（公告）日: 2018-10-12
• 發(fā)明（設(shè)計(jì)）人: 李俊;孫海峰;徐忠建;朱必亮;馮建亮
• 申請（專利權(quán)）人: 江蘇速度信息科技股份有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30
• 代理公司: 南京正聯(lián)知識產(chǎn)權(quán)代理有限公司 32243
• 代理人: 陸中丹

本發(fā)明涉及一種地名新詞的發(fā)現(xiàn)方法，包括以下步驟：S1：構(gòu)建原始文檔集合：利用網(wǎng)絡(luò)爬蟲程序或RSS的方法從互聯(lián)網(wǎng)中對網(wǎng)頁文本進(jìn)行爬取，并利用網(wǎng)頁解析軟件對爬取的文本進(jìn)行解析，形成原始的文檔集合；S2：預(yù)處理原始文檔：對步驟S1中構(gòu)建的原始文檔集合中的文檔進(jìn)行預(yù)處理；S3：分詞處理：采用基于字符串匹配的方法和概率統(tǒng)計(jì)相結(jié)合的方法進(jìn)行中文分詞處理，設(shè)計(jì)分詞詞典；S4：提取地名新詞：利用步驟S3中生成的分詞詞典，對分詞詞典進(jìn)行分類，并將詞典進(jìn)行分割，得到有益于處理的長度，然后提取出地名新詞。利用互聯(lián)網(wǎng)上容易獲取的網(wǎng)頁資源進(jìn)行地名新詞的發(fā)現(xiàn)，提高了發(fā)現(xiàn)新詞匯的機(jī)會且有效提高新詞發(fā)現(xiàn)的精度與準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及信息技術(shù)抽取領(lǐng)域，特別是涉及一種地名新詞的發(fā)現(xiàn)方法。

背景技術(shù)

隨著網(wǎng)絡(luò)技術(shù)和信息技術(shù)的飛速發(fā)展，產(chǎn)生了大量的信息，據(jù)調(diào)查顯示，人類社會80％以上的信息資源與地理空間相關(guān)，這些信息具有更新速度快、數(shù)據(jù)量大、來源廣泛、數(shù)據(jù)結(jié)構(gòu)多樣等特征，但也蘊(yùn)藏著豐富的地名信息。目前我國正在進(jìn)行地名信息化建設(shè)，地名信息更新維護(hù)周期長、成本高、效率低，因此，從大量信息中對地名信息進(jìn)行抽取獲得地名新詞顯得尤為重要。

目前國內(nèi)采用的新詞發(fā)現(xiàn)技術(shù)主要有以下兩種：

(一)基于規(guī)則的新詞發(fā)現(xiàn)：通過使用一個預(yù)設(shè)的分詞詞典，利用分詞詞典與一定的組詞規(guī)則相結(jié)合來識別新詞，其主要思想是根據(jù)語言學(xué)的原理和知識來制定一些共性和個性規(guī)則，用這些規(guī)則來自動處理分析中出現(xiàn)的問題。其優(yōu)點(diǎn)是發(fā)現(xiàn)新詞的準(zhǔn)確率較高，然而由于制定的規(guī)則只是針對某一個領(lǐng)域，靈活性較差，同時由于規(guī)則的獲取難度加大，規(guī)則的全面制定既耗時又耗力，新詞的產(chǎn)生速度越來越快，基于規(guī)則的方法很難滿足需求。

(二)基于統(tǒng)計(jì)的新詞發(fā)現(xiàn)：通過觀察語料中的特征信息，尋找描述新詞特征的統(tǒng)計(jì)量，確定候選字符串，計(jì)算其內(nèi)部聚合度和自由度，在此基礎(chǔ)上確定閾值，尋找聚合度和自由度最高的字符串組合。其優(yōu)點(diǎn)是實(shí)現(xiàn)方法簡單，可以應(yīng)用于很多領(lǐng)域，對于查找較短的短語比較適合，然后這種方法需要大量的訓(xùn)練語料，忽略了詞語內(nèi)部的結(jié)構(gòu)和詞與詞之間的構(gòu)詞能力等特性，新詞發(fā)現(xiàn)的質(zhì)量不是很高。

綜上所述，為了有效提高新詞發(fā)現(xiàn)的準(zhǔn)確度和精度，有必要開發(fā)研究一種將規(guī)則和統(tǒng)計(jì)相結(jié)合的地名新詞的發(fā)現(xiàn)方法。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是，提供一種地名新詞發(fā)現(xiàn)方法，從大量信息中過濾垃圾字符串和通用詞，提高地名新詞發(fā)現(xiàn)的準(zhǔn)確率和精度，更好地為地名信息化服務(wù)。

為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是：該地名新詞的發(fā)現(xiàn)方法，包括以下步驟：

S1：構(gòu)建原始文檔集合：利用網(wǎng)絡(luò)爬蟲程序或RSS的方法從互聯(lián)網(wǎng)中對網(wǎng)頁文本進(jìn)行爬取，并利用網(wǎng)頁解析軟件對爬取的文本進(jìn)行解析，形成原始的文檔集合；

S2：預(yù)處理原始文檔：對步驟S1中構(gòu)建的原始文檔集合中的文檔進(jìn)行預(yù)處理；

S3：分詞處理：采用基于字符串匹配的方法和概率統(tǒng)計(jì)相結(jié)合的方法進(jìn)行中文分詞處理，設(shè)計(jì)分詞詞典；

S4：提取地名新詞：利用步驟S3中生成的分詞詞典，對分詞詞典進(jìn)行分類，并將詞典進(jìn)行分割，得到有益于處理的長度，然后提取出地名新詞。

采用上述技術(shù)方案，利用網(wǎng)絡(luò)爬蟲的方法對網(wǎng)頁文本進(jìn)行抽取，并利用相應(yīng)的網(wǎng)頁解析軟件對網(wǎng)頁文本進(jìn)行解析，形成原始的文檔集合；然后對文檔進(jìn)行去除網(wǎng)頁標(biāo)簽、替換標(biāo)識符、切分文本、過濾非中文字符等預(yù)處理操作，將所有的文檔劃分為字符串的組合，利用逆向最大匹配法與N-gram法相結(jié)合的方法對字符串進(jìn)行分詞處理，得到中文分詞結(jié)果；然后通過設(shè)置最小支持度和最小置信度，采用Apriori算法對高頻噪聲詞進(jìn)行剔除，發(fā)現(xiàn)頻繁項(xiàng)目集，生成關(guān)聯(lián)規(guī)則，進(jìn)而發(fā)現(xiàn)地名新詞。

本發(fā)明進(jìn)一步改進(jìn)在于，所述步驟S2中對原始文件進(jìn)行預(yù)處理的過程具體包括如下步驟：