[發明專利]一種文本并行數據挖掘系統及方法

在審

• 申請號: 202110297825.4
• 申請日: 2021-03-19
• 公開（公告）號: CN113032522A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 孫靖怡;張磊
• 申請（專利權）人: 聊城大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/31
• 代理公司: 北京睿智保誠專利代理事務所(普通合伙) 11732
• 代理人: 龍濤

1.一種文本并行數據挖掘系統，其特征在于，包括：

數據獲取模塊(1)，所述數據獲取模塊(1)用于獲取多個原始文本數據集；

數據清洗模塊(2)，所述數據清洗模塊(2)用于對所述原始文本數據集進行預處理，以得到對應的多個關鍵詞條集；

中央處理模塊(3)，所述中央處理模塊(3)用于根據所述關鍵詞條集的數量進行解析，得到解析結果；

線程配置模塊(4)，所述線程配置模塊(4)根據所述解析結果配置線程進行處理；

數據存儲模塊(5)，所述數據存儲模塊(5)用于實時存儲處理結果。

2.根據權利要求1所述的一種文本并行數據挖掘系統，其特征在于，還包括：遠程通訊服務器(6)，所述遠程通訊服務器(6)用于當所述處理結果出現敏感詞匯時遠程發送提示信息。

3.根據權利要求1所述的一種文本并行數據挖掘系統，其特征在于，所述中央處理模塊(3)包括：

解析單元(31)，所述解析單元(31)用于分析多個所述關鍵詞條集得到對應的文件大小，以及出現相同關鍵詞的概率；

調度單元(32)，所述調度單元(32)根據出現相同關鍵詞概率按照由大到小的順序排序，并綜合分析所述關鍵詞條集的文件大小對每個所述關鍵詞條集權重分配，得到對應的排序結果。

4.根據權利要求3所述的一種文本并行數據挖掘系統，其特征在于，所述線程配置模塊(4)包括：

線程負載獲取單元(41)，所述線程負載獲取單元(41)用于獲取當前各個線程對應的負載大小；

線程分配單元(42)，所述線程分配單元(42)用于根據所述線程的負載大小以及所述調度單元(32)的所述排序結果對分配任務，并計算是否存在任務剩余量；

線程設置單元(43)，所述線程設置單元(43)用于根據所述任務剩余量大小判斷是否需要建立新線程。

5.一種文本并行數據挖掘方法，其特征在于，包括：

步驟S1：利用所述數據獲取模塊(1)得到多個原始文本數據集；

步驟S2：利用數據清洗模塊(2)對所述原始文本數據集進行預處理，以得到對應的多個關鍵詞條集；

步驟S3：利用所述中央處理模塊(3)對多個所述關鍵詞條集進行處理，并將處理結果發送至所述線程配置模塊(4)；

步驟S4：所述線程配置模塊(4)根據各挖掘線程當前的數據挖掘任務負載情況，將當前數據挖掘任務分配給數據挖掘任務負載較少的挖掘代理線程，并將結果發送至所述數據存儲模塊(5)進行存儲。

6.根據權利要求5所述的一種文本并行數據挖掘方法，其特征在于，還包括：所述步驟S2中：當所述關鍵詞條集中出現敏感詞匯超過設定閾值時，通過所述遠程通訊服務器(6)發送提示信息至工作人員。

7.根據權利要求5所述的一種文本并行數據挖掘方法，其特征在于，所述步驟S3還包括：

步驟S31：利用所述解析單元(31)分析多個所述關鍵詞條集得到對應的文件大小，以及出現相同關鍵詞的概率；

步驟S32：所述調度單元(32)根據出現相同關鍵詞概率按照由大到小的順序排序，并綜合分析所述關鍵詞條集的文件大小對每個所述關鍵詞條集權重分配，得到對應的排序結果。

8.根據權利要求5所述的一種文本并行數據挖掘方法，其特征在于，所述步驟S4還包括：

步驟S41：利用所述線程負載獲取單元(41)獲取當前各個線程對應的負載大小；

步驟S42：利用所述線程分配單元(42)用于根據所述線程的負載大小以及所述調度單元(32)的所述排序結果對分配任務，并計算是否存在任務剩余量。