[發明專利]基于語義的社交媒體非規范詞糾正方法在審

申請號：	201710829908.7	申請日：	2017-09-15
公開（公告）號：	CN107577668A	公開（公告）日：	2018-01-12
發明（設計）人：	費高雷;鄭夏;李元磊;胡光岷	申請（專利權）人：	電子科技大學
主分類號：	G06F17/27	分類號：	G06F17/27
代理公司：	成都宏順專利代理事務所(普通合伙)51227	代理人：	周永宏
地址：	611731 四川省成***	國省代碼：	四川;51
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	基于語義社交媒體規范糾正方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

技術領域

本發明屬于數據挖掘領域，特別涉及一種非規范詞檢測及識別技術。

背景技術

隨著Web2.0的興起，互聯網模式由專業人員織網轉變為所有用戶參與織網，在形式更為民主化的同時，也意味著將有大量來自用戶的低成本低質量的信息產生。社交媒體是用戶發布和傳播信息的重要平臺，允許用戶不限地點、不限時間分享自己的生活和想法。Twitter是一家面向全球范圍的社交網站，它的特點在于用戶發表推文時有字符數量限制。這就導致了用戶可能使用更便捷簡短的縮寫或網絡詞匯來表達觀點，將產生大量的非規范詞匯，影響相關研究者對推文的后續分析。所以，對非規范詞匯進行糾正是非常必要的。

張仰森教授提出英文文本中主要出現非詞錯誤和真詞錯誤兩種詞匯錯誤情況，非詞錯誤指在字典中無法找到的書寫不規范詞匯，而真詞錯誤指可在字典中找到但不符語境的語法錯誤類詞匯。本發明僅針對非詞錯誤情況。出現非詞錯誤的非規范詞一般指拼寫錯誤詞匯、延長詞以及無意義詞匯。

首先對于非規范詞的檢測和識別方面，目前并沒有很多有效方法。最常用的就是查字典法，也就是通過遍歷字典庫查找與待識別詞相匹配的單詞，如果有則判定為規范詞，反之則判定為非規范詞。也有學者利用查找N-gram表的方法進行非規范詞識別，即遍歷已有的N-gram表并統計其出現次數，當詞頻低于某閾值則判定為非規范詞。

對于非規范詞糾正方面，已有一些較為有效的方法和研究，且已應用于部分搜索引擎、輸入法等商業產品中。最常用的有最小編輯距離法、詞干法、統計法、總結規則法以及構建字典法等。

要將自然語言交給機器學習中的算法來處理，首先就要將語言數學化，一個最常用的方法就是把每個詞表示為一個詞向量。詞向量是一個很好的表現單詞語義的方式。其中One-hot Representation最直觀，這種方法把每個詞表示為一個很長的向量，只有一個維度的值為1，代表了當前的詞，其余均為0。此方法雖簡單但會帶來維度災難，后來學者提出了Distributed Representation的方法，表示的一種低維實數向量。當前常用獲取詞向量的模型有：①Word2Vector模型②GloVe模型③LSA矩陣分解模型④PLSA潛在語義分析概率模型。

以Twitter為例的社交媒體不斷產生大量無意義的噪聲信息以及重復冗余的信息，比如用戶的閑聊及轉發。為方便研究者對社交媒體數據的分析，文本信息去噪以及規范化是很有必要的。隨著自然語言處理技術的發展以及單詞規范化和單詞語義表征的深度研究，近些年出現了很多針對于普通文本的規范化系統，然而這些傳統方法大多受限于單詞的詞形，使得其在Twitter中的應用效果大大降低。

發明內容

為解決上述技術問題，本申請提出一種基于語義的社交媒體非規范詞糾正方法，在常規的拼寫糾錯技術上，加入了非規范詞匯的語義信息作為另一考慮因素，優化了最短編輯距離法難以處理詞形差異較大的非規范詞的問題。

本發明采用的技術方案為：基于語義的社交媒體非規范詞糾正方法，包括：

S1、語義信息構建，采用GloVe模型獲取每個單詞的詞向量，計算任意兩個詞向量之間的距離；

S2、非規范詞識別，通過對推文進行預處理得到完整單詞列表；將列表中的每個單詞與字典集合中的單詞進行比對；若成功匹配則列表中的該單詞為規范詞；否則為非規范詞；

S3、對于步驟S2判斷得到的非規范詞，找出與其詞向量距離較小的N各詞向量對應的單詞；找出這些單詞中的規范單詞，選擇其中與非規范詞向量最小的規范單詞對其進行替換。

進一步地，所述計算任意兩個詞向量之間的距離的方法為：歐幾里得距離或明可夫斯基距離或切比雪夫距離或曼哈頓距離或馬哈拉諾比斯距離或余弦夾角。

進一步地，步驟S2所述預處理具體為：

A1、過濾推文噪聲；所述推文噪聲包括：無效字符以及亂碼；

A2、提取包含話題的單詞以及包含用戶名的單詞，得到話題話題詞和用戶名；

A3、去除重復詞；

A4、采用所有非字母符號對英文單詞進行分詞處理。