[發明專利]數據處理方法、裝置、設備和存儲介質

有效

• 申請號: 202010152379.3
• 申請日: 2020-03-06
• 公開（公告）號: CN113360519B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 楊攀
• 申請（專利權）人: 北京京東振世信息技術有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F9/54;G06F16/248
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 馬少華;臧建明

本發明實施例提供一種數據處理方法、裝置、設備和存儲介質，該方法包括：對數據查詢請求進行解析，確定該數據查詢請求中包含的數據表標識；根據數據表與微服務接口之間的映射關系，確定該數據表標識對應的微服務接口；將調用微服務接口返回的數據添加到與該數據表標識對應的數據表中；根據該數據查詢請求，從該數據表中查詢數據。根據本發明實施例的技術方案，能夠根據數據報表的需求靈活高效地獲取數據，能夠滿足大量緊急的報表需求。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據處理方法、裝置、設備和存儲介質。

背景技術

隨著報表的使用越來越廣泛，對報表需要的指標數據進行統計、匯總處理的應用場景越來越多。

目前，報表的實時和離線的指標大部分通過獨立的微服務接口提供。在報表開發過程中，需要根據報表需求，調用對應的微服務接口，獲取微服務接口返回的數據，例如，全流程報表會同時展現多個物流環節的指標，需要開發人員根據公共維度字段，通過函數式編程抽取各個物流環節的微服務接口的數據，將抽取的數據拼接到一起，得到數據報表的完整的數據集合，參照圖1所示，該報表包含兩個物流節點，節點-1和節點-2分別從微服務接口1和微服務接口2獲取數據，通過函數式編程獲取微服務接口1和微服務接口2中的時間、區域字段，拼接得到完整的數據集合，生成圖1所示的數據報表。然而，在這種技術方案中，通過函數式編程處理數據，不僅效率較低，而且可復用性差，難以滿足大量緊急的報表需求。

因此，如何高效并且可復用地處理數據報表需要的數據成為了亟待解決的技術難題。

發明內容

本發明實施例提供一種數據處理方法、裝置、設備和存儲介質，用于解決如何高效并且可復用地處理數據報表需要的數據的問題。

本發明實施例第一方面，提供了一種數據處理方法，包括：對數據查詢請求進行解析，確定所述數據查詢請求中包含的數據表標識；根據數據表與微服務接口之間的映射關系，確定所述數據表標識對應的微服務接口；將調用所述微服務接口返回的數據添加到與所述數據表標識對應的數據表中；根據所述數據查詢請求，從所述數據表中查詢數據。

在本發明的一些實施例中，基于上述方案，所述方法還包括：獲取微服務接口；基于所述微服務接口的返回對象，通過反射的方式確定所述返回對象的屬性；基于所述返回對象的屬性，創建與所述微服務接口對應的數據表；建立所述數據表與對應的所述微服務接口之間的所述映射關系。

在本發明的一些實施例中，基于上述方案，所述獲取微服務接口，包括：掃描并加載目標業務的微服務接口的實例；將所述微服務接口的實例緩存在實例集合中；遍歷所述實例集合，從所述實例集合中獲取所述微服務接口的實例。

在本發明的一些實施例中，基于上述方案，所述方法還包括：在創建所述數據表時，向所述數據表中添加請求標識字段，所述請求標識字段用于唯一地標識一次數據查詢請求對應的查詢流程和數據。

在本發明的一些實施例中，基于上述方案，所述方法還包括：響應于所述數據查詢請求，生成與所述數據查詢請求對應的請求標識，所述請求標識用于唯一地標識所述數據查詢請求對應的查詢流程和數據；將所述請求標識添加到所述數據表中的所述請求標識字段對應的列中。

在本發明的一些實施例中，基于上述方案，所述數據查詢請求為結構化查詢語言SQL語句，所述數據表存儲在內存數據庫中，所述基于所述數據查詢請求，從所述數據表中查詢數據，包括：基于所述SQL語句，從所述內存數據庫的所述數據表中查詢數據。

在本發明的一些實施例中，基于上述方案，所述方法還包括：通過SQL解析器向所述SQL語句添加篩選條件，所述篩選條件包括所述請求標識等于預定值的條件。

在本發明的一些實施例中，基于上述方案，所述方法還包括：在查詢完成或者查詢異常時，根據所述請求標識刪除所述數據表中與所述數據查詢請求對應的新增數據。