[發明專利]一種數據導出方法、裝置及系統

在審

• 申請號: 202010119872.5
• 申請日: 2020-02-26
• 公開（公告）號: CN111352951A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 劉盼盼;余華森;孫煒
• 申請（專利權）人: 蘇寧云計算有限公司
• 主分類號: G06F16/245
• 分類號: G06F16/245;G06F16/28
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 陳怡

本發明公開了一種數據導出方法、裝置及系統，其中方法包括：根據導出請求利用檢索數據庫進行數據查詢，所述導出請求中的查詢字段根據檢索數據庫中的索引以及字段信息配置，所述檢索數據庫中的數據源從關系型數據庫中抽??；根據查詢結果生成導出文件，將生成所述導出文件的設備地址存儲到關系型數據庫中，將所述導出文件存儲到導出服務器中，以供所述導出服務器向發起所述導出請求的服務器傳輸所述導出文件。本發明采用ES服務實現大數據量的查詢和導出，實現了多樣性的數據導出需求，相比web端的數據導出提高了導出效率，更加適用于復雜業務場景的數據導出需求。

技術領域

本發明涉及計算機技術領域，特別涉及一種數據導出方法、裝置及系統。

背景技術

數據管理系統通常要依賴具體業務場景的數據進行分析整合和數據導出，然而隨著業務場景的多元化和復雜化發展，很多業務場景的數據由于數量龐大采用了分庫分表的存儲方式，這就導致數據管理系統在導出數據時需要從不同的子系統中導出，使得數據導出鏈路長、限制多、數據的時效性較差的問題日益突出。

發明內容

為了解決現有技術的問題，建設一個具有承接跨系統、跨業務、跨產品數據導出能力的綜合導出平臺，本發明實施例提供了一種數據導出方法、裝置及系統。所述技術方案如下：

第一方面，提供了一種數據導出方法，包括：

根據導出請求利用檢索數據庫進行數據查詢，所述導出請求中的查詢字段根據檢索數據庫中的索引以及字段信息配置，所述檢索數據庫中的數據源從關系型數據庫中抽?。?/p>

根據查詢結果生成導出文件，將生成所述導出文件的設備地址存儲到關系型數據庫中，將所述導出文件存儲到導出服務器中，以供所述導出服務器向發起所述導出請求的服務器傳輸所述導出文件。

進一步地，根據導出請求在檢索數據庫中進行數據查詢包括：

根據所述導出請求生成若干導出任務，根據所述導出任務進行多線程分批次的數據查詢。

進一步地，根據所述導出請求生成若干子導出任務包括：

根據所述查詢字段中的數據類型信息或者組織架構信息進行生成所述子導出任務。

進一步地，所述檢索數據庫中的數據源從關系型數據庫中抽取包括：

通過hive表從所述關系型數據庫中抽取全量數據或增量數據；

利用spark進行數據分析整合，將分析整合后的數據同步至所述檢索數據庫中。

進一步地，所述檢索數據庫中的數據源從關系型數據庫中抽取包括：

通過binlog日志從所述關系型數據庫中抽取全量數據或增量數據。

第二方面，提供了一種數據導出頁面配置方法，包括：

從關系型數據庫中抽取相應的條件數據，利用所述條件數據配置數據導出頁面，以供用戶根據所述條件數據提出導出請求，其中所述條件數據根據檢索數據庫中的索引以及字段信息配置。

第三方面，提供一種數據導出裝置，包括：導出模塊，用于生成導出文件并將設備地址發送到到關系型數據庫中存儲；所述導出模塊包括：

查詢模塊，用于根據導出請求利用檢索數據庫進行數據查詢，所述導出請求中的查詢字段根據檢索數據庫中的索引以及字段信息配置，所述檢索數據庫中的數據源從關系型數據庫中抽??；

導出文件生成模塊，用于根據查詢結果生成導出文件，將所述導出文件存儲到導出服務器中，以供所述導出服務器向發起所述導出請求的服務器傳輸所述導出文件。

進一步地，所述裝置還包括：