[發明專利]業務數據處理鏈路的質量監控結果生成方法、存儲介質及質量監控系統

在審

• 申請號: 202011465010.4
• 申請日: 2020-12-14
• 公開（公告）號: CN112579352A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 高偉;李勁松;龐日海;丘志新;龍嘯;吳冬銘;劉玉川;吳昊遠;羅錦州
• 申請（專利權）人: 廣州信安數據有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/27;G06F16/28;G06Q10/10
• 代理公司: 廣州永華專利代理有限公司 44478
• 代理人: 勞覓

本發明提供一種業務數據處理鏈路的質量監控結果生成方法、存儲介質及質量監控系統，該方法包括如下步驟：獲取業務數據處理鏈路中的多個數據處理流程節點；根據預設的質量監控規則對各個數據處理流程節點的不同特性進行多次監控，生成分別對應于各個數據處理流程節點的多個質量監控結果；獲取各個質量監控結果所對應的數據處理流程節點及其特性；把在相同數據處理流程節點中反映相同特性的多個質量監控結果合并起來，生成對應于合并起來后的質量監控結果的字符，這樣就縮減了對數據處理流程節點進行監控后所生成的字符數量，便于用戶進行查看。

技術領域

本發明涉及數據處理技術領域，特別涉及業務數據處理鏈路的質量監控結果生成方法、、存儲介質及質量監控系統。

背景技術

隨著大數據時代的到來，企業、商家等系統用戶可利用數據處理系統從其業務系統中獲取大量的業務數據，再對這些業務數據進行分析從而得到有利于改進業務系統的信息。目前，數據處理系統通常預設有業務數據處理鏈路以對業務數據進行處理，使得用戶能獲取到業務數據進行分析，該業務數據處理鏈路主要包括以下四個數據處理流程節點：(1)將營銷系統中的業務數據進行復制備份并實時同步到數據倉庫中；(2)在特定的時間節點把數據倉庫中的多個業務數據發送到大數據平臺，形成業務數據表單；(3)在特定的時間節點把大數據平臺中的業務數據表單同步到待發送數據中；(4)在特定的時間節點把大數據平臺上的待發送數據發送到運監平臺，使用戶能利用運監平臺上的業務數據表單對業務數據進行分析。

在上述業務數據處理鏈路中，若某個數據處理流程節點出現異常，則會影響到用戶所獲取到的業務數據，從而導致用戶對業務數據進行分析得到的信息與實際情況有所偏差，因此通常需要利用預設的質量監控規則對各個數據處理流程節點進行監控生成多個質量監控結果，然后生成對應于各個質量監控結果的字符以供用戶進行查看，但在各個數據處理流程節點中，通常會監控數據處理流程節點的不同特性，例如時效性、一致性等，甚至還會采用不同監控規則對同一個特性進行多次監控，因此會生成多個質量監控結果，從而導致最終生成的字符數量過多，不便于用戶進行查看。

發明內容

本發明要解決的技術問題是如何縮減對數據處理流程節點進行監控后所生成的字符數量。

為解決上述技術問題，本發明提供一種業務數據處理鏈路的質量監控結果生成方法，包括如下步驟：

A.獲取業務數據處理鏈路中的多個數據處理流程節點；

B.根據預設的質量監控規則對各個數據處理流程節點的不同特性進行多次監控，生成分別對應于各個數據處理流程節點的多個質量監控結果；

C.獲取各個質量監控結果所對應的數據處理流程節點及其特性；

D.把在相同數據處理流程節點中反映相同特性的多個質量監控結果合并起來，生成對應于合并起來后的質量監控結果的字符。

優選地，還包括如下步驟：

E.排列所有字符形成質量指標字段，其中反映各個數據處理流程節點的相同特性的多個字符排在一起；

F.可視化輸出所述質量指標字段給用戶查看。

優選地，所述特性包括完整性、時效性、一致性和準確性當中的一項或多項。

優選地，在所述步驟E中，按照完整性、時效性、一致性和準確性的順序依次排列對各個字符進行排列。

優選地，在所述步驟D中，若合并前的多個質量監控結果都是正常，則合并起來后的質量監控結果為正常，若合并前的多個質量監控結果中有一個以上是異常，則合并起來后的質量監控結果為異常。

優選地，在所述步驟D中，若合并起來后的質量監控結果為正常則所對應的字符為“1”，若合并起來后的質量監控結果為異常則所對應的字符為“0”。

優選地，所述多個數據處理流程節點包括：