[發明專利]文本涉及地分析方法及其系統

有效

• 申請號: 201510979376.6
• 申請日: 2015-12-23
• 公開（公告）號: CN105608072B
• 公開（公告）日: 2019-02-19
• 發明（設計）人: 李晟;欒江霞;王備戰;章正道
• 申請（專利權）人: 廈門市美亞柏科信息股份有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 深圳市博銳專利事務所 44275
• 代理人: 張明

本發明公開了一種文本涉及地分析方法及其系統，方法包括提取文本的地域相關名詞；將地域相關名詞進行地域匹配，得到包含文本涉及地的地域區劃列表；計算地域相關名詞在文本中的詞頻概率，確定地域區劃列表中對應的文本涉及地的第一概率；根據地域相關名詞及其對應的文本涉及地的語義相關度，獲取文本涉及地的語義概率；根據文本所在版塊的統計信息或發布人的統計信息中文本涉及地的歷史概率，獲取文本涉及地的第二概率；根據第一概率、語義概率和第二概率，獲取文本涉及地的綜合概率；若綜合概率大于等于第一預設閾值，則判定文本涉及地為文本的屬地；將文本涉及地添加至文本的地域屬性標簽。本發明可提高文本地域分析判斷的準確性。

技術領域

本發明涉及文本分析領域，尤其涉及一種文本涉及地分析方法及其系統。

背景技術

隨著網絡技術的發展和用戶數量的不斷增長，網絡中產生的數據正經歷爆炸式的增長，這對網絡數據的分析提出了更多和更高的要求。文本分析和挖掘技術是目前被廣泛應用的一項技術，通過相應的技術和方法對文本的語義內容進行分析，歸類等一系列操作，主要用于商品推薦，輿情分析，文本搜索等領域。

在輿情分析中，需要對網絡中輿情在不同的主題下進行整理和分析，例如不同地域存在的輿情熱點和發展趨勢。為此，對于發帖內容中所涉及的地域信息進行抽取和判斷是輿情分析中一個相對重要的環節。

在地域判斷這一個環節中，已存在的技術在通過分詞技術提取地域相關名詞后，主要通過在地域區劃數據查找匹配來判斷文本內容的地域屬性。

基于區劃數據庫的方法直觀、易實現。然而，該方法的效果卻不理想，而且依賴文本中存在對應的地區名稱。現實中，網絡發帖文本中往往不直接提及區劃地域名稱，通常只出現一些街道、地標；而同一街道或地標名稱可能對應了多個城市。在這種情況下，該方法無法提取和判斷文本的地域屬性。

在大數據和知識圖譜的發展背景下，文本分析有新的研究方向和技術。例如通過知識圖譜來對文本進行分析能夠取得更好的效果。但由于知識圖譜相關技術和應用仍存在效率和易用性上的問題，在實際應用中未被廣泛應用。

在申請號為201210581448.8的公開文件中，提出了一種文本分析方法及文本分析器，所述方法包括：對獲取的文本以字符為單位進行切分處理，對切分得到的字符按照預先設置的字符特征進行特征標注，形成特征字串；按照預先構建的分詞模型，對特征字串進行分詞處理，得到包含字序的分詞結果；根據分詞結果中的字序進行合并處理，對合并得到的詞按照預先設置的字符特征進行特征標注，形成特征詞串；根據預先構建的詞性標注模型，對特征詞串進行詞性標注，得到詞性標注結果；確認詞性標注結果中包含實體詞詞性標注，則按照相鄰相同規則，合并詞性標注結果中包含實體詞詞性標注的實體詞，得到文本分析結果。但該方法主要分析文本中的實體詞，無法分析文本的涉及地。

發明內容

本發明所要解決的技術問題是：提供一種文本涉及地分析方法及其系統，可對文本內容進行分析判斷，獲取文本屬地。

為了解決上述技術問題，本發明采用的技術方案為：一種文本涉及地分析方法，包括

提取文本的地域相關名詞；

將所述地域相關名詞進行地域匹配，得到包含文本涉及地的地域區劃列表；

計算所述地域相關名詞在所述文本中的詞頻概率，確定所述地域區劃列表中對應的文本涉及地的第一概率；

計算所述地域相關名詞及其對應的文本涉及地的語義相關度；根據所述語義相關度，獲取所述文本涉及地的語義概率；

獲取所述文本所在版塊的統計信息或發布人的統計信息；分別獲取所述文本涉及地在所述統計信息中的歷史概率；根據所述歷史概率，獲取所述文本涉及地的第二概率；

根據所述第一概率、語義概率和第二概率，獲取所述文本涉及地的綜合概率；