[發明專利]一種數據處理與分析系統

在審

• 申請號: 202111330211.8
• 申請日: 2021-11-10
• 公開（公告）號: CN114201518A
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 馬劍;宣梓華;丁玉樑;楊昕;王永琴
• 申請（專利權）人: 江蘇金農股份有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/242;G06F16/2458
• 代理公司: 南京思宸知識產權代理事務所(特殊普通合伙) 32548
• 代理人: 王真

本發明公開了一種數據處理與分析系統，包括數據存儲模塊、數據提取模塊、數據處理模塊、數據分析模塊和輸出模塊，所述數據存儲模塊存儲全部數據，數據提取模塊根據需要提取一定的數據用于計算，本發明通過數據提取模塊中的異常數據單元，首先對異常數據進行發掘，對異常數據的位置進行確定，并根據位置確定可能造成異常數據的相關數據，對相關數據的促進和降低影響進行計算，最后計算異常數據的正常取值，使異常數據調整至正常數據，方便后續數據的再處理和再分析，從而使數據處理和分析的精確度更高，節省數據整體的處理和分析時間，使數據處理和分析的效果更好。

技術領域

本發明涉及數據處理與分析技術領域，具體為一種數據處理與分析系統。

背景技術

數據處理的基本目的是從大量的、可能是雜亂無章的、難以理解的數據中抽取并推導出對于某些特定的人們來說是有價值、有意義的數據，數據分析是指用適當的統計分析方法對收集來的大量數據進行分析，將它們加以匯總和理解并消化，以求最大化地開發數據的功能，發揮數據的作用，數據分析是為了提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程；

但是目前的數據處理與分析系統，沒有對異常數據的相關數據位置進行查找，對異常數據的分析范圍較廣泛，對于異常數據的分析任務量較重，分析時間較長，導致異常數據不能及時的確定，分析的精準度不高。

發明內容

本發明提供一種數據處理與分析系統，可以有效解決上述背景技術中提出目前的數據處理與分析系統，沒有對異常數據的相關數據位置進行查找，對異常數據的分析范圍較廣泛，對于異常數據的分析任務量較重，分析時間較長，導致異常數據不能及時的確定，分析的精準度不高的問題。

為實現上述目的，本發明提供如下技術方案：一種數據處理與分析系統，包括數據存儲模塊、數據提取模塊、數據處理模塊、數據分析模塊和輸出模塊；

數據選擇單元對用戶需求進行分析，確定查找的關鍵詞；

自定義提取單元在數據存儲模塊中通過關鍵詞查找關聯數據，并在查找列表中選擇排序第一的數據組作為一次關聯數據組；

異常數據單元對一次關聯數據組中的異常數據進行查找；

在自定義提取單元中輸入異常數據，查找時間早于一次關聯數據組的同類型的數據組，在查找列表中選擇排序第一的數據組作為二次關聯數據組；

在自定義提取單元中輸入二次關聯數據組中的異常數據，查找時間早于二次關聯數據組的同類型的數據組，在查找列表中選擇排序第一的數據組作為三次關聯數據組；

一次關聯數據組中的數據記為A₁、A₂、A₃…Ai；

二次關聯數據組中的數據記為B₁、B₂、B₃…Bi；

三次關聯數據組中的數據記為C₁、C₂、C₃…Ci；

異常數據查找過程首先對一次關聯數據之間的偏差進行計算，計算的公式如下：

式中，k表示一次關聯數據組中的第k個數據，k∈[1，2，3…i]；

X_k表示一次關聯數據組中第k個數據的偏差；

ΔAi表示一次關聯數據組中相鄰數據之間的差值；

ΔAi具體通過下式表示：ΔAi＝Ai-A(i-1)；

提取式中X_k大于1時對應的數據Ak，則Ak為異常數據；