[發明專利]全業務指標的數據質量監控方法、電子設備及存儲介質

在審

• 申請號: 202110358163.7
• 申請日: 2021-04-01
• 公開（公告）號: CN113128848A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 于澤;鄭欽瀚;黃亮;邱智敏;解翔
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06F16/242;G06F16/27
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 黎堅怡

1.一種全業務指標的數據質量監控方法，其特征在于，包括：

獲取業務指標；

基于所述業務指標選取對應的監控規則；

對所述對應的監控規則進行有效性校驗；

若校驗成功，則利用所述監控規則的配置數據對所述業務指標進行校驗。

2.根據權利要求1所述的數據質量監控方法，其特征在于，所述監控規則包括查詢語言表達式是否能正常運行，所述對所述對應的監控規則進行有效性校驗包括：

獲取與所述業務指標對應的查詢語言表達式，并構建第一分布式數據集；

判斷所述第一分布式數據集對應的物理執行計劃是否可執行；

如果所述物理執行計劃可執行，則校驗通過；

若所述物理執行計劃不可執行，則校驗不通過，返回語法錯誤信息。

3.根據權利要求2所述的數據質量監控方法，其特征在于，所述監控規則包括進一步包括是否全表掃描，所述對所述對應的監控規則進行有效性校驗包括：

若所述物理執行計劃可執行，則從所述物理執行計劃中獲取表掃描器對象；

判斷所述表掃描器對象是否包含日期條件過濾限制；

若所述表掃描器包含所述日期條件過濾限制，則校驗通過；

若所述表掃描器對象未包含所述日期條件過濾限制，則校驗失敗，返回全表掃描錯誤信息。

4.根據權利要求2所述的數據質量監控方法，其特征在于，所述監控規則包括進一步包括配置數據是否有效，所述對所述對應的監控規則進行有效性校驗包括：

判斷所述查詢語言表達式是否包含所述業務指標；

若所述查詢語言表達式包含所述業務指標，則校驗通過。

5.根據權利要求2所述的數據質量監控方法，其特征在于，所述若校驗成功，則利用所述監控規則的配置數據對所述業務指標進行校驗包括采用輪詢方式依次執行下述子步驟：

基于所述監控規則及所述第一分布式數據集計算所述業務指標的同比配置信息及環比配置信息；

分別計算所述業務指標的樣本實例，所述樣本實例包括原始數據樣本、同比數據樣本及環比數據樣本；

基于所述樣本實例計算所述業務指標的漲幅百分比；

將所述漲幅百分比與閾值百分比進行比對，并記錄所述樣本實例的風險系數及明細數據。

6.根據權利要求5所述的數據質量監控方法，其特征在于，進一步包括：

若所述漲幅百分比大于所述閾值百分比，則產生告警信息。

7.根據權利要求1所述的數據質量監控方法，其特征在于，在所述基于所述業務指標選取對應的監控規則之前包括：

批量獲取已配置好的報表配置文件，并依次解析所述報表配置文件；

從所述報表配置文件的根節點遞歸查找所述報表配置文件的工作簿節點、數據源節點及數據源依賴節點，并提取查詢語言表達式、字段中/英文名映射、數據庫連接信息；

根據所述報表工作簿的名稱將所述查詢語言表達式、所述字段中/英文名映射、所述數據庫連接信息與處理系統關聯，并進行結構化存儲，以建立數據庫，其中，所述數據庫包括所述監控規則的配置數據。

8.根據權利要求1所述的數據質量監控方法，其特征在于，在所述基于所述業務指標選取對應的監控規則之前包括：

完成訪問安全認證；

批量獲取已配置好的報表配置文件，并循環調用遠程服務獲取報表看板、報表數據集、報表數據源；

根據所述遠程服務返回的數據進行反序列化為對象，并提取查詢語言表達式、字段中/英文名映射、數據庫連接信息；

根據所述報表工作簿的名稱將所述查詢語言表達式、字段中/英文名映射、數據庫連接信息與處理系統關聯，并進行結構化存儲，以建立數據庫，其中，所述數據庫包括所述監控規則的配置數據。

9.根據權利要求1所述的數據質量監控方法，其特征在于，進一步包括：

從客戶端監聽到查詢語句，生成并執行物理執行計劃；

對配置的所述業務指標的樣本實例數據進行核對，并將核對結果反饋給所述客戶端。