[發明專利]數據處理方法、裝置、電子設備及可讀存儲介質

有效

• 申請號: 202010133602.X
• 申請日: 2020-02-28
• 公開（公告）號: CN111339175B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 劉奔
• 申請（專利權）人: 成都運力科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27;G06F16/28
• 代理公司: 北京超成律師事務所 11646
• 代理人: 孔默

1.一種數據處理方法，其特征在于，所述方法包括：

獲得多個原始數據；

將所述多個原始數據發送到分布式消息隊列Kafka；

利用Flink從Kafka獲取所述多個原始數據并進行ETL處理，獲得多個整合數據，所述整合數據帶有標簽；

按照每個所述整合數據的標簽，將每個所述整合數據寫入對應的數據庫；

從所述Kafka、Flink以及多個所述數據庫對應的API接口收集監控數據，并對所述監控數據進行監控，其中，所述監控數據包括原始數據和整合數據；

所述方法還包括：

利用解析代碼解析監控數據的運算規則，獲得所述監控數據的來源、去向以及所述監控數據經歷的運算過程；所述運算規則是flinksql執行計劃和數據依賴關系；

根據所述監控數據的來源、去向以及所述監控數據經歷的運算過程，確定監控數據之間的拓撲關系；

其中，利用解析代碼解析flinksql執行計劃和數據依賴關系，獲得監控數據之間的拓撲關系。

2.根據權利要求1所述的方法，其特征在于，所述對所述監控數據進行監控，包括：

判斷所述監控數據的具體值是否超過對應的數值范圍；

若是，則發出告警信號。

3.根據權利要求1所述的方法，其特征在于，所述對所述監控數據進行監控，包括：

判斷在預設時間段內是否接收到所述監控數據的心跳信號；

若否，則發出告警信號。

4.根據權利要求1所述的方法，其特征在于，所述數據庫包括Redis；

所述按照所述整合數據的標簽，將所述每個整合數據寫入對應的數據庫，包括：

若存在整合數據的標簽表征所述整合數據需進行頻繁地查詢和讀寫動作，將所述整合數據寫入Redis。

5.根據權利要求1所述的方法，其特征在于，所述數據庫包括Mysql；

所述按照所述整合數據的標簽，將所述每個整合數據寫入對應的數據庫，包括：

若存在整合數據的標簽表征所述整合數據對應的數據量較小或所述整合數據需提供給固定報表使用，將所述整合數據寫入Mysql。

6.根據權利要求1所述的方法，其特征在于，所述數據庫包括GreenPlum；

所述按照所述整合數據的標簽，將所述每個整合數據寫入對應的數據庫，包括：

若存在整合數據的標簽表征所述整合數據需進行多維度分析，將所述整合數據寫入GreenPlum。

7.根據權利要求1所述的方法，其特征在于，在所述按照所述整合數據的標簽，將所述每個整合數據寫入對應的數據庫之后，所述方法還包括：

利用統一服務平臺根據服務類型，從多個數據庫中的至少一個數據庫獲取并處理數據。

8.一種數據處理裝置，其特征在于，所述裝置包括：

原始數據獲取模塊，用于獲得多個原始數據；

數據存入模塊，用于將所述多個原始數據發送到分布式消息隊列Kafka；

整合數據獲取模塊，用于利用Flink從Kafka獲取所述多個原始數據并進行ETL處理，獲得多個整合數據，所述整合數據帶有標簽；

數據寫入模塊，用于按照每個所述整合數據的標簽，將每個所述整合數據寫入對應的數據庫；

數據監控模塊，用于從所述Kafka、Flink以及多個所述數據庫對應的API接口收集監控數據，并對所述監控數據進行監控，其中，所述監控數據包括原始數據和整合數據；

所述裝置還包括解析模塊，上述解析模塊用于：利用解析代碼解析監控數據的運算規則，獲得所述監控數據的來源、去向以及所述監控數據經歷的運算過程；所述運算規則是flinksql執行計劃和數據依賴關系；根據所述監控數據的來源、去向以及所述監控數據經歷的運算過程，確定監控數據之間的拓撲關系；其中，利用解析代碼解析flinksql執行計劃和數據依賴關系，獲得監控數據之間的拓撲關系。