[發明專利]一種基于大數據的數據對比分析篩選系統及方法

在審

• 申請號: 202010908103.3
• 申請日: 2020-09-01
• 公開（公告）號: CN113704287A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 鄭鈺;楊茜茜
• 申請（專利權）人: 廣西云牛動力網絡科技有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2458
• 代理公司: 重慶壹手知專利代理事務所(普通合伙) 50267
• 代理人: 彭啟強

本發明公開了一種基于大數據的數據對比分析篩選系統及方法，包括數據導入模塊、特征采集模塊、特征數據處理模塊、特征對比模塊、數據分析模塊、總控模塊與數據篩選分級模塊；所述數據導入模塊與特征采集模塊通信連接。本發明通過設置的特征采集模塊，能夠從導入的數據中采集出特征點關鍵詞，提取數據信息內的關鍵詞組，然后將采取到的關鍵詞與系統內部數據信息的參考關鍵詞組進行匹配，能夠使得采集具有針對性，快速對數據關鍵字進行提取，設置的數據篩選分級模塊，能夠在接收到特征比對消息后會根據比對消息將數據根據特征點進行篩選分級，通過實現篩選分級，快速篩選出所需的最優數據，直接的為使用者使用。

技術領域

本發明涉及數據對比分析篩選系統領域，特別涉及一種基于大數據的數據對比分析篩選系統及方法。

背景技術

隨著大數據應運而生，信息化不斷高速發展，為了彌補傳統方法無法處理如此量大且非結構的大數據的缺陷，人們研究出了云計算，以云計算為基礎的信息存儲、分享和挖掘手段，可以便宜、有效地將這些大量、高速、多變化的終端大數據存儲下來，然而如何對這些數據進行篩選分析，并且使用篩選結果從不同維度對企業決策進行指導已經成為熱門話題。

現有技術中，對數據的篩選分析方法僅是對數據在某單一維度下進行展開分析，或者在多個維度下進行組合篩選，單一維度下的篩選缺陷在于如果數據信息點隱藏在多個篩選維度下，則很難被找到；組合篩選的缺陷在于確定某一維度子項以進行數據分析時，子項的選擇很大程度取決于做出判斷的人的經驗，導致容易出現錯誤的判斷情況。無論是單一維度的篩選方式或是組合維度的篩選方式，針對篩選過程中因選擇了錯誤的篩選維度而無法得到最終的篩選結果時，均需要重新進行篩選，嚴重影響篩選效率。

現有技術的數據對比分析篩選系統在對數據進行對比分析時，無法對數據中關鍵字進行采集匹配，這就導致在采集時不具有針對性，無法快速對數據關鍵字進行提取，致使后續的匹配以及對比環節無法快速進行，其次，在對數據進行篩選的時候，無法實現篩選分級，無法篩選出所需的最優數據，提供的多個選項無法快速直接的為使用者使用，給人們的使用過程帶來了一定的影響，為此，我們提出一種基于大數據的數據對比分析篩選系統及方法。

發明內容

本發明的主要目的在于提供一種基于大數據的數據對比分析篩選系統及方法，可以有效解決背景技術中的問題。

為實現上述目的，本發明采取的技術方案為：

一種基于大數據的數據對比分析篩選系統，包括數據導入模塊、特征采集模塊、特征數據處理模塊、特征對比模塊、數據分析模塊、總控模塊與數據篩選分級模塊；

所述數據導入模塊與特征采集模塊通信連接，所述特征采集模塊與特征數據處理模塊通信連接，所述特征數據處理模塊與特征對比模塊通信連接，所述特征對比模塊與數據分析模塊通信連接，所述數據分析模塊與總控模塊通信連接，所述總控模塊與數據篩選分級模塊通信連接；

所述數據導入模塊用于導入需要對比分析的數據，并將數據導入到特征采集模塊中，所述特征采集模塊用于采集接收到的數據的特征信息，并將采集到的特征信息發送到特征數據處理模塊上，所述特征數據處理模塊會對接收到的特征信息進行處理，并將處理好的特征信息發送到特征對比模塊中，所述特征對比模塊用于對接收到的特征信息進行比對，并將比對好的信息發送到數據分析模塊中，所述數據分析模塊會對比對好的信息進行分析，并將分析好的信息發送給總控模塊。

進一步的，所述數據導入模塊在使用時，至少需要導入兩個或多個數據信息，所述特征采集模塊會從導入的數據中采集出特征點關鍵詞，特征點關鍵詞的采集過程如下：

步驟一：獲取到數據信息；

步驟二：提取數據信息內的關鍵詞組，其提取出關鍵詞的具體過程為：將采集的數據信息通過TF-IDF算法進行關鍵詞提取，得到第一關鍵詞組；關鍵詞組包括若干關鍵詞。