[發明專利]一種應用數據的管理系統以及處理方法、裝置和服務器

在審

• 申請號: 202011165367.0
• 申請日: 2020-10-27
• 公開（公告）號: CN112506915A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 何弟;劉楚蘭
• 申請（專利權）人: 百果園技術（新加坡）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種應用數據的管理系統，其特征在于，包括：異步通信組件、發布訂閱消息組件、列式數據庫和數據消費進程組，所述異步通信組件緩存不同業務應用異步上報的應用數據；其中，

所述異步通信組件定期將所述應用數據寫入到所述發布訂閱消息組件中，所述數據消費進程組定期從所述發布訂閱消息組件中并行拉取所述應用數據，并轉存至所述列式數據庫中。

2.根據權利要求1所述的管理系統，其特征在于，所述異步通信組件包括異步緩沖區和定時進程，所述異步緩沖區緩存不同業務應用異步上報的應用數據，所述定時進程定期將所述異步緩沖區中的應用數據寫入到所述發布訂閱消息組件中。

3.根據權利要求1所述的管理系統，其特征在于，所述異步通信組件上緩存的應用數據為通過合法性驗證的應用數據。

4.根據權利要求1所述的管理系統，其特征在于，所述異步通信組件、所述發布訂閱消息組件和所述列式數據庫采用集群方式部署。

5.根據權利要求4所述的管理系統，其特征在于，還包括：負載均衡器，所述負載均衡器用于均衡所述異步通信組件上緩存的應用數據。

6.根據權利要求1所述的管理系統，其特征在于，還包括：查詢服務進程；

所述查詢服務進程根據當前接收的接口質量查詢請求，將目標服務接口和目標質量查詢維度推送給所述列式數據庫，所述接口質量查詢請求用于指示查詢通過所述目標服務接口異步上報應用數據時，所述目標服務接口在目標質量查詢維度下的接口質量；

所述列式數據庫按照所述目標質量查詢維度對所述目標服務接口下的應用數據進行對應的聚合分析，得到所述目標質量查詢維度下的質量查詢結果，并推送給所述查詢服務進程。

7.根據權利要求1所述的管理系統，其特征在于，還包括：告警守護進程組，所述告警守護進程組定期對所述列式數據庫中通過各個服務接口上報的應用數據進行異常監控，并對異常的應用數據進行告警。

8.根據權利要求7所述的管理系統，其特征在于，還包括：接口臨時表和監控任務隊列；

所述數據消費進程組在將所述發布訂閱消息組件中的應用數據轉存至所述列式數據庫時，同步將該應用數據上報時所采用的服務接口標識記錄到所述接口臨時表中；

所述告警守護進程組定期將所述接口臨時表中的服務接口標識轉存至所述監控任務隊列中，并基于所述監控任務隊列依次對所述列式數據庫中通過各個服務接口上報的應用數據進行異常監控。

9.根據權利要求8所述的管理系統，其特征在于，所述告警守護進程組中的每一告警守護進程均采用協程池，所述告警守護進程組根據所述接口臨時表中的服務接口數量，動態設置所述告警守護進程組內的進程運行數量以及每一運行的告警守護進程內的協程數量。

10.根據權利要求1-9任一項所述的管理系統，其特征在于，還包括：容災數據庫，所述容災數據庫實時從所述異步通信組件中拉取對應的應用數據進行備份存儲。

11.一種應用數據的處理方法，其特征在于，應用于權利要求1-10任一項所述的應用數據的管理系統中，包括：

通過異步通信組件定期將不同業務應用異步上報的應用數據寫入到發布訂閱消息組件中；

通過數據消費進程組定期從所述發布訂閱消息組件中并行拉取所述應用數據，并轉存至所述列式數據庫中。

12.根據權利要求11所述的方法，其特征在于，所述通過異步通信組件定期將不同業務應用異步上報的應用數據寫入到發布訂閱消息組件中，包括：

通過所述異步通信組件不同業務應用異步上報的應用數據進行合法性驗證，并定期將通過合法性驗證的應用數據寫入到發布訂閱消息組件中。