[發明專利]基于語義的社交媒體非規范詞糾正方法

在審

• 申請號: 201710829908.7
• 申請日: 2017-09-15
• 公開（公告）號: CN107577668A
• 公開（公告）日: 2018-01-12
• 發明（設計）人: 費高雷;鄭夏;李元磊;胡光岷
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 成都宏順專利代理事務所(普通合伙)51227
• 代理人: 周永宏

1.基于語義的社交媒體非規范詞糾正方法，其特征在于，包括：

S1、語義信息構建，采用GloVe模型獲取每個單詞的詞向量，計算任意兩個詞向量之間的距離；

S2、非規范詞識別，通過對推文進行預處理得到完整單詞列表；將列表中的每個單詞與字典集合中的單詞進行比對；若成功匹配則列表中的該單詞為規范詞；否則為非規范詞；

S3、對于步驟S2判斷得到的非規范詞，找出與其詞向量距離較小的N各詞向量對應的單詞；找出這些單詞中的規范單詞，選擇其中與非規范詞向量最小的規范單詞對其進行替換。

2.根據權利要求1所述的基于語義的社交媒體非規范詞糾正方法，其特征在于，所述計算任意兩個詞向量之間的距離的方法為：歐幾里得距離或明可夫斯基距離或切比雪夫距離或曼哈頓距離或馬哈拉諾比斯距離或余弦夾角。

3.根據權利要求1所述的基于語義的社交媒體非規范詞糾正方法，其特征在于，步驟S2所述預處理具體為：

A1、過濾推文噪聲；所述推文噪聲包括：無效字符以及亂碼；

A2、提取包含話題的單詞以及包含用戶名的單詞，得到話題話題詞和用戶名；

A3、去除重復詞；

A4、采用所有非字母符號對英文單詞進行分詞處理。

4.根據權利要求3所述的基于語義的社交媒體非規范詞糾正方法，其特征在于，步驟S2所述的字典集合至少包括：各常用英文字典、通過預處理得到的話題詞以及用戶名。

5.根據權利要求1所述的基于語義的社交媒體非規范詞糾正方法，其特征在于，步驟S3還包括：

B1、采用單詞間最小編輯距離d表示詞形相似；

B2、通過設置詞義參數α來表示詞向量的質量，用該α乘以詞向量間的距離l表示詞義相似性；

B3、根據下式計算與非規范詞關系緊密度最高的規范詞；并根據該規范詞來對費規范詞進行糾正；

S(ω₁,ω₂)＝d+β×l×α

其中，S(ω₁，ω₂)表示兩個單詞間的關系緊密度，S(ω₁，ω₂)值越小緊密度越高，β表示語義權重。

6.基于語義的社交媒體非規范詞糾正方法，其特征在于，包括：

S1、語義信息構建，采用GloVe模型獲取每個單詞的詞向量，計算任意兩個詞向量之間的距離；

S2、非規范詞識別，通過對推文進行預處理得到完整單詞列表；將列表中的每個單詞與字典集合中的單詞進行比對；若成功匹配則列表中的該單詞為規范詞；否則為非規范詞；

S3、對于步驟S2判斷得到的非規范詞，利用PyEnchant和PyTypo對各待糾正非規范詞進行處理，得到相應的糾錯建議詞列表；

遍歷糾錯建議詞列表，計算列表中每一個建議單詞與待糾正非規范詞的最小編輯距離，得到詞形相似度；計算各建議詞向量與待糾正非規范詞向量之間的距離，得到語義相似度；

根據下式結合詞形相似度與語義相似度，對每一個建議詞與待糾正非規范詞計算出一個分值；對每一個待糾正非規范詞將糾錯建議詞列表按照分值由低至高重新排序，最前面的建議詞對非規范詞進行替換；若糾錯建議詞列表為空，直接過濾該非規范詞；

S(ω₁,ω₂)＝d+β×l×α

其中，S(ω₁，ω₂)表示兩個單詞間的關系緊密度，S(ω₁，ω₂)值越小緊密度越高，β表示語義權重，α為詞義參數，l為詞向量間的距離。

7.根據權利要求6所述的基于語義的社交媒體非規范詞糾正方法，其特征在于，所述計算任意兩個詞向量之間的距離的方法為：歐幾里得距離或明可夫斯基距離或切比雪夫距離或曼哈頓距離或馬哈拉諾比斯距離或余弦夾角。

8.根據權利要求6所述的基于語義的社交媒體非規范詞糾正方法，其特征在于，步驟S2所述預處理具體為：

A1、過濾推文噪聲；所述推文噪聲包括：無效字符以及亂碼；

A2、提取包含話題的單詞以及包含用戶名的單詞，得到話題話題詞和用戶名；

A3、去除重復詞；

A4、采用所有非字母符號對英文單詞進行分詞處理。

9.根據權利要求6所述的基于語義的社交媒體非規范詞糾正方法，其特征在于，步驟S2所述的字典集合至少包括：各常用英文字典、通過預處理得到的話題詞以及用戶名。