[發明專利]一種基于時間窗口和語義的變體詞規范化的方法和系統

有效

• 申請號: 201710308896.3
• 申請日: 2017-05-04
• 公開（公告）號: CN107315734B
• 公開（公告）日: 2019-11-26
• 發明（設計）人: 沙灜;施振輝;李銳;梁棋;邱詠欽;王斌
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 11200 北京君尚知識產權代理有限公司
• 代理人: 司立彬<國際申請>=<國際公布>=<進入

本發明公開了一種基于時間窗口和語義的變體詞規范化的方法和系統。本方法為：1)根據給定變體詞的出現時間，選取社交網絡中該出現時間之前的設定時間段內的語料，作為候選語料庫集合D1；2)將該候選語料庫集合D1中和該變體詞所在語料語義相似的語料加入到候選語料庫集合D2；3)從該集合D2中提取出候選詞，得到一候選詞集合；4)根據每一候選詞和變體詞的字面相似度以及上下文特征相似度計算每對候選詞和變體詞的得分，根據計算結果確定該變體詞對應的候選詞，將確定出的候選詞作為該變體詞的規范詞。本系統包括采集模塊、過濾模塊、獲取模塊和規范詞獲取模塊。本發明使得社交網絡的文本變的更加規范，便于輿情分析、熱點時間追蹤。

技術領域

本發明涉及社交網絡數據分析領域，是一種基于時間窗口和語義的變體詞規范化的方法，以實現更有針對性、準確性的社交網絡中變體詞的規范化的方法和系統。

背景技術

隨著社交網絡的飛速發展，每天有億級的信息發布在社交網絡平臺中，帶來了信息的爆炸式增長。信息的形式多種多樣，包括文本、圖片、音頻、視頻等。其中社交網絡中的文本具有隨意性、非正規性等特點。變體詞就是網絡語言作為一種不規范語言的顯著特色，人們往往處于避免審查、表達情感、諷刺、娛樂等需求將相對嚴肅、規范、敏感的詞用相對不規范、不敏感的詞來代替，用來代替原來詞的新詞就叫做變體詞(Morph)。變體詞和其對應的原來的詞(目標實體詞)會分別在非規范文本和規范文本中共存，甚至變體詞會滲透到規范文本中。變體詞使行文更加生動活潑，相關事件、消息也傳播得更加廣泛。但是因為變體詞通常是某種隱喻，已不再是其表面字詞的意義了，從而使網絡上文體與正式文本(如新聞)具有巨大的差異。由此如何識別出這些變體詞所對應的目標實體詞，即規范化，對于下游的自然語言處理技術具有重要的意義。進一步，研究變體詞的規范化對于輿情分析、熱點事件追蹤等都有重要意義。

變體詞的規范化

變體詞規范化指變體詞的解析，即找到變體詞所對應的目標實體詞。

形式化描述如下：已知文檔集合D＝{d₁,d₂,…,d_|D|},文檔集合D中唯一詞集合為T＝{t₁,t₂,…,t_|T|}，定義候選的變體詞m′_j是T中的一個唯一詞t_j。則定義一個候選變體詞的提及(morph mention)為m_j在一個特定文檔d_j里的第p次出現。

這里需要注意如果一個提及的表面形式是與m_i相同的，但是如果其指向其原來的含義，那么就不認為是變體詞的提及。

例如：如果詞語“小馬哥”通過上下文獲知其指向的是香港電影《英雄本色》里的一角色，則就不是一個變體詞的提及；但是如果其指向的是一公司總裁馬某某，則認為是一個變體詞的提及。

因此變體詞規范化任務是針對每一個變體詞提及解析出其目標實體詞e₁。針對上例，則需要解析出變體詞“小馬哥”的目標實體詞為“馬某某”。

最終目標是獲得變體詞對應的目標實體詞。

變體詞的特點

1)變體詞可以看作是一種利用自然語言處理技術來傳播秘密消息的一種手段。絕大多數的變體詞可以看作是基于深層語義和背景知識的編碼，而不是簡單的字典式的替換，因此變體詞更接近于行話、黑話、術語等。

2)變體詞與目標實體詞之間的映射關系不是全射關系，也即不是標準的對應關系，多個變體詞可以對應一個目標實體詞，一個目標實體詞也可以對應多個變體詞。

3)社交網絡平臺對變體詞的產生和發展起著至關重要的推動作用。社交網絡作為一種自媒體，更是激發了廣大群眾的創造欲望、集成了廣大群眾的集體智慧。眾多流行的變體詞都是互聯網上普通用戶自發創造獲得廣泛傳播的。