[發明專利]一種基于社交媒體平臺的文本分類方法

在審

• 申請號: 202010824472.4
• 申請日: 2020-08-17
• 公開（公告）號: CN112000867A
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 鐘艷如;曹良斌;甘才軍;李芳;羅笑南
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/9536;G06F16/33;G06F16/35;G06F40/289;G06Q50/00
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 陸夢云

本發明公開了一種基于社交媒體平臺的文本分類方法，利用Python爬取社交媒體平臺公開發布的信息，并對爬取數據進行預處理，通過詞頻統計按從大到小順序排列并平均分為3個關鍵字列表，其分別對應于不同的權重，采用相似度函數計算輸入的預分類文本中的單詞與上述建立的關鍵字列表的相似度，進而基于相似度計算相關特征，將相關特征映射到模糊集上,從而輸出具體的類別，解決了傳統文本分類算法無法對較短文本和包含口語、縮略詞的文本準確分類的問題。本方法利用模糊邏輯對文本內容非常好的描述能力，實現在具體應用中直接將文本內容轉換為計算機和人工智能能夠識別的適當數值，有利于提高包含復雜語義的文本和較短文本的分類準確性。

技術領域

本發明涉及數據獲取和模糊邏輯文本分類技術，具體是一種基于社交媒體平臺的文本分類方法。

背景技術

當代文本分類方法的目標是充分運用相關領域技術，為每一個輸入的文本實現類別劃分，讓每個用戶更便捷的獲取所需類別信息。另一方面，隨著互聯網的快速發展和個人計算機的廣泛普及，越來越多的消息和數據通過超文本傳輸協議以電子文檔的形式發布。于是，數據分類的速度和能力遇到了巨大的挑戰。如何準確并及時地在浩如煙海的信息世界中獲取用戶所需類別的信息，已成為互聯網發展至今的一大難題。

社交媒體平臺作為互聯網交互式web3.0應用程序的一部分，其為用戶提供了一個簡單而方便的渠道來分享表達他們的觀點以及交流信息。社交媒體信息通常包含其發布時間和地點信息，并描述人們的行為和感受，但是，由于社交媒體信息中包含著大量冗余、無意義和不可靠的信息，且文本內容較短，沒有豐富的語義，傳統的分類算法并不適用于處理社交媒體文本?；跇闼刎惾~斯的分類、TF-IDF分類、正則分類這些傳統的分類算法通常只使用關鍵詞來區分文本內容是否與事件相關，無法對那些不包含關鍵詞但與事件密切相關的文本準確分類，而對于普通用戶而言，他們往往難以從文本內容中凝練出少量的關鍵詞用于分類。

目前現有的大多數文本分類方法，均是面向關鍵詞比對來實現文本分類的，因此，現有的大多數產品的文本分類功能不是很精準，難以處理語義較為簡單且文本內容較短的數據，以至于最后對文本內容的分類效果遠遠達不到用戶的要求。

發明內容

本發明的目的是為了完善現有技術中存在的不足，而提供一種基于社交媒體平臺的文本分類方法，該方法數據來源獲取簡單，采用文本訓練方法，技術成熟，方法簡單且行之有效，準確度高及適用性強。

實現本發明目的的技術方案是：

一種基于社交媒體平臺的文本分類方法，包括如下步驟：

（1）爬取社交媒體公開發布的事件相關數據信息，并對所爬取的數據進行清理、加工，得到文本中的有用信息，將處理過的信息存儲到數據庫，形成結構化數據，以便提取相關特征；

（2）提取社交媒體文本相關特征：從步驟（1）的結構化數據中統計出現頻率最高的單詞，并對其分別計算權重分數，對每個單詞從高到低進行排序，平均分為三個關鍵詞列表，三個關鍵詞列表對應不同的權重；將要進行分類的社交媒體文本內容與三個關鍵詞列表一一進行相似度計算，得到每個單詞的相似度值，進一步計算該文本內容的相關特征；

（3）基于模糊邏輯完成社交媒體文本分類：將步驟（2）獲取的相關特征映射到模糊模型中，模糊模型輸出每個特征對應的文本價值，對輸出的特征文本價值運用模糊規則，輸出社交媒體文本分類結果。

步驟（1）所述爬取社交媒體公開發布的事件相關數據信息，是利用Selenium爬取用戶ID、時間戳、位置、文本內容等相關信息；所述的用戶ID、時間戳、位置、文本內容等相關信息的數據來源為微博、twitter等網站公開發布的關于某事件的文本數據。

步驟（1）所述的對所爬取的數據進行清理、加工的方法步驟為：