[發明專利]基于大數據的質量分析方法、系統及存儲介質

在審

• 申請號: 202010195431.3
• 申請日: 2020-03-19
• 公開（公告）號: CN111475495A
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 張勇
• 申請（專利權）人: 深圳市酷開網絡科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458;G06F16/25;G06F11/32
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 宗繼穎;吳志益

1.基于大數據的質量分析方法，其中，包括：

獲取終端產生的數據，并監測所獲取的數據是否符合預設規則；

若所獲取數據符合預設規則，則存儲符合預設規則的數據，并根據所存儲數據編寫評分規則，以監測所存儲數據在被應用時的流轉過程；

判斷所存儲數據在被應用時的變化程度是否達到異常閾值；

若達到異常閾值，發出錯誤警示。

2.根據權利要求1所述的基于大數據的質量分析方法，其中，所述獲取終端產生的數據，并監測所獲取的數據是否符合預設規則，之后還包括：

若所獲取數據不符合預設規則，則發出錯誤警示。

3.根據權利要求1所述的基于大數據的質量分析方法，其中，監測所獲取的數據是否符合預設規則包括：

監測獲取終端產生數據的響應時間是否在預設時間范圍內；

或分析所獲取數據的數據結構是否符合預設的數據結構變化范圍；

或判斷所獲取數據的日總量是否超出預設數據總量。

4.根據權利要求1所述的基于大數據的質量分析方法，其中，存儲符合預設規則的數據，并根據所存儲數據編寫評分規則具體為：

存儲符合預設規則的數據，并根據預設數據匯總規則統計所存儲數據的日總量，進而根據所匯總的日總量編寫評分規則。

5.根據權利要求4所述的基于大數據的質量分析方法，其中，存儲符合預設規則的數據，并根據預設數據匯總規則統計所存儲數據的日總量，進而根據所匯總的日總量編寫評分規則，之后包括：

監測所匯總數據的日總量是否達到預設評分值；

若否，則發出錯誤警示。

6.根據權利要求1所述的基于大數據的質量分析方法，其中，獲取終端所產生數據的路徑至少包括kafka消息隊列、http接口和FTP服務器中一種。

7.根據權利要求1所述的基于大數據的質量分析方法，其中，監測所存儲數據在被應用時的流轉過程包括：

根據數據流轉的生命周期，監測所存儲數據在被應用時，是否存在數據丟失或者數據落地的時間是否在合理時間范圍內。

8.一種系統，其中，包括相互關聯的：

數據采集監控模塊，用于獲取終端產生的數據，并監測所獲取的數據是否符合預設規則；

數據倉儲監控模塊，用于存儲符合預設規則的數據，并根據所存儲數據編寫評分規則，監測所存儲數據的評分是否超過預設評分值；

數據應用監控模塊，用于監測所獲取數據在被應用時的流轉過程，并監測所存儲數據在被應用時的變化程度是否達到異常閾值。

9.根據權利要求8所述的系統，其中，還包括相互關聯的：

規則引擎模塊，用于錄入應用于數據采集監控模塊的預設規則，應用于數據倉儲監控模塊的預設評分值，和應用于數據應用監控模塊的異常閾值；

任務調度引擎模塊，用于管理數據在系統中的任務啟動、暫?；蚧謴?。

警示通知模塊，用于管理用戶信息，并將規則引擎模塊所觸發的錯誤警示進行通知。

10.一種存儲介質，其中，所述存儲介質存儲有計算機程序，所述計算機程序能夠被執行以用于實現如權利要求1-7任一項所述的基于大數據的質量分析方法。