[發明專利]基于大數據的質量分析方法、系統及存儲介質

在審

• 申請號: 202010195431.3
• 申請日: 2020-03-19
• 公開（公告）號: CN111475495A
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 張勇
• 申請（專利權）人: 深圳市酷開網絡科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458;G06F16/25;G06F11/32
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 宗繼穎;吳志益

本公開所提供的基于大數據的質量分析方法、系統及存儲介質，包括：獲取終端產生的數據，并監測所獲取的數據是否符合預設規則；若所獲取數據符合預設規則，則存儲符合預設規則的數據，并根據所存儲數據編寫評分規則，以監測所存儲數據在被應用時的流轉過程；判斷所存儲數據在被應用時的變化程度是否達到異常閾值；若達到異常閾值，發出錯誤警示。通過在數據獲取、數據存儲以及數據應用過程中對數據進行監測，能夠對數據的質量進行管理，以提高數據的質量。

技術領域

本公開涉及數據質量管理技術領域，尤其涉及的是基于大數據的質量分析方法、系統及存儲介質。

背景技術

由于數據來源多元化、且數據質量參差不齊，并不利于企業根據多方面收集的數據進行發展規劃的制定。

即使市場上出現了對數據質量進行治理的平臺，但由于現有的數據質量監測治理平臺的針對性不強，在運用過程中需要開發人員進行數據質量的檢測，進而導致因數據質量而引發的排查周期過長，且數據越繁雜，排查周期就會對應增長，導致數據質量監測治理平臺在應用時的靈活性較差，同時也耗費大量的排查時間，不利于提高數據質量管理的效率，以致于對業務數據質量進行分析時存在明顯的缺陷。

因此，現有技術存在缺陷，有待改進與發展。

發明內容

本公開要解決的技術問題在于，針對現有技術的上述缺陷，提供基于大數據的質量分析方法、系統及存儲介質，旨在解決現有技術中數據質量監測治理平臺的針對性不強，在運用過程中需要開發人員進行數據質量的檢測，不利于提高數據質量管理效率的問題。

本公開解決技術問題所采用的技術方案如下：

基于大數據的質量分析方法，其中，包括：

獲取終端產生的數據，并監測所獲取的數據是否符合預設規則；

若所獲取數據符合預設規則，則存儲符合預設規則的數據，并根據所存儲數據編寫評分規則，以監測所存儲數據在被應用時的流轉過程；

判斷所存儲數據在被應用時的變化程度是否達到異常閾值；

若達到異常閾值，發出錯誤警示。

進一步地，所述獲取終端產生的數據，并監測所獲取的數據是否符合預設規則，之后還包括：

若所獲取數據不符合預設規則，則發出錯誤警示。

進一步地，監測所獲取的數據是否符合預設規則包括：

監測獲取終端產生數據的響應時間是否在預設時間范圍內；

或分析所獲取數據的數據結構是否符合預設的數據結構變化范圍；

或判斷所獲取數據的日總量是否超出預設數據總量。

進一步地，存儲符合預設規則的數據，并根據所存儲數據編寫評分規則具體為：

存儲符合預設規則的數據，并根據預設數據匯總規則統計所存儲數據的日總量，進而根據所匯總的日總量編寫評分規則。

進一步地，存儲符合預設規則的數據，并根據預設數據匯總規則統計所存儲數據的日總量，進而根據所匯總的日總量編寫評分規則，之后包括：

監測所匯總數據的日總量是否達到預設評分值；

若否，則發出錯誤警示。

進一步地，獲取終端所產生數據的路徑至少包括kafka消息隊列、http接口和FTP服務器中一種。

進一步地，監測所存儲數據在被應用時的流轉過程包括：

根據數據流轉的生命周期，監測所存儲數據在被應用時，是否存在數據丟失或者數據落地的時間是否在合理時間范圍內。