[發明專利]一種基于大數據的數據對比分析篩選系統及方法

在審

• 申請號: 202010908103.3
• 申請日: 2020-09-01
• 公開（公告）號: CN113704287A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 鄭鈺;楊茜茜
• 申請（專利權）人: 廣西云牛動力網絡科技有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2458
• 代理公司: 重慶壹手知專利代理事務所(普通合伙) 50267
• 代理人: 彭啟強

1.一種基于大數據的數據對比分析篩選系統，其特征在于：包括數據導入模塊、特征采集模塊、特征數據處理模塊、特征對比模塊、數據分析模塊、總控模塊與數據篩選分級模塊；

所述數據導入模塊與特征采集模塊通信連接，所述特征采集模塊與特征數據處理模塊通信連接，所述特征數據處理模塊與特征對比模塊通信連接，所述特征對比模塊與數據分析模塊通信連接，所述數據分析模塊與總控模塊通信連接，所述總控模塊與數據篩選分級模塊通信連接；

所述數據導入模塊用于導入需要對比分析的數據，并將數據導入到特征采集模塊中，所述特征采集模塊用于采集接收到的數據的特征信息，并將采集到的特征信息發送到特征數據處理模塊上，所述特征數據處理模塊會對接收到的特征信息進行處理，并將處理好的特征信息發送到特征對比模塊中，所述特征對比模塊用于對接收到的特征信息進行比對，并將比對好的信息發送到數據分析模塊中，所述數據分析模塊會對比對好的信息進行分析，并將分析好的信息發送給總控模塊。

2.根據權利要求1所述的一種基于大數據的數據對比分析篩選系統，其特征在于：所述數據導入模塊在使用時，至少需要導入兩個或多個數據信息，所述特征采集模塊會從導入的數據中采集出特征點關鍵詞，特征點關鍵詞的采集過程如下：

步驟一：獲取到數據信息；

步驟二：提取數據信息內的關鍵詞組，其提取出關鍵詞的具體過程為：將采集的數據信息通過TF-IDF算法進行關鍵詞提取，得到第一關鍵詞組；關鍵詞組包括若干關鍵詞。

3.根據權利要求2所述的一種基于大數據的數據對比分析篩選系統，其特征在于：所述特征采集模塊采集到的特征信息發送給特征數據處理模塊，經特征數據處理模塊將關鍵詞組提取，并發送給特征對比模塊進行數據的匹配，具體匹配過程為：

S1：獲取到系統內數據信息的參考關鍵詞組，參考關鍵詞組的判定過程為：對數據信息內的所有內容進行分析，提取出數據信息中所有超過預設次數的詞組，再將出現次數最多的詞組提取出來，將其標記為參考關鍵詞組；

S2：將第一關鍵詞組與參考關鍵詞組進行匹配得到重復關鍵詞。

4.根據權利要求1所述的一種基于大數據的數據對比分析篩選系統，其特征在于：所述數據分析模塊將匹配得到重復關鍵詞發送給數據分析模塊，數據分析模塊對匹配后的特征數據進行整合，并將整合后的結果發送給總控模塊。

5.根據權利要求1所述的一種基于大數據的數據對比分析篩選系統，其特征在于：所述總控模塊會在接收到分析好的信息后，將控制指令和比對信息發送到數據篩選分級模塊中，所述數據篩選分級模塊接收到特征比對消息后會根據比對消息將數據根據特征點進行篩選分級，并將篩選的數據導出。

6.一種采用權利要求1所述的基于大數據的數據對比分析篩選系統的數據對比分析篩選方法，其特征在于：所述數據篩選分級模塊在進行篩選時具體步驟如下：

S1：獲取到系統內數據信息的參考關鍵詞組，將出現次數最多的詞組提取出來，將其標記為參考關鍵詞組；

S2：將第一關鍵詞組與參考關鍵詞組進行匹配得到重復關鍵詞；

S3：將重復關鍵詞的數量除以參考關鍵詞的數量，得到回復占比，將回復占比值最高的數據信息標記為特征數據；

其中，經步驟S3得到的特征數據即為篩選分級后的數據，該特征數據所占比值最高。