[發明專利]一種數據導出方法、裝置及系統

在審

• 申請號: 202010119872.5
• 申請日: 2020-02-26
• 公開（公告）號: CN111352951A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 劉盼盼;余華森;孫煒
• 申請（專利權）人: 蘇寧云計算有限公司
• 主分類號: G06F16/245
• 分類號: G06F16/245;G06F16/28
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 陳怡

1.一種數據導出方法，其特征在于，包括：

根據導出請求利用檢索數據庫進行數據查詢，所述導出請求中的查詢字段根據檢索數據庫中的索引以及字段信息配置，所述檢索數據庫中的數據源從關系型數據庫中抽取；

根據查詢結果生成導出文件，將生成所述導出文件的設備地址存儲到關系型數據庫中，將所述導出文件存儲到導出服務器中，以供所述導出服務器向發起所述導出請求的服務器傳輸所述導出文件。

2.如權利要求1所述的一種數據導出方法，其特征在于，根據導出請求在檢索數據庫中進行數據查詢包括：

根據所述導出請求生成若干導出任務，根據所述導出任務進行多線程分批次的數據查詢。

3.如權利要求2所述的一種數據導出方法，其特征在于，根據所述導出請求生成若干子導出任務包括：

根據所述查詢字段中的數據類型信息或者組織架構信息進行生成所述子導出任務。

4.如權利要求1～3中任意一項所述的一種數據導出方法，其特征在于，所述檢索數據庫中的數據源從關系型數據庫中抽取包括：

通過hive表從所述關系型數據庫中抽取全量數據或增量數據；

利用spark進行數據分析整合，將分析整合后的數據同步至所述檢索數據庫中。

5.如權利要求1～3中任意一項所述的一種數據導出方法，其特征在于，所述檢索數據庫中的數據源從關系型數據庫中抽取包括：

通過binlog日志從所述關系型數據庫中抽取全量數據或增量數據。

6.一種數據導出頁面配置方法，其特征在于，包括：

從關系型數據庫中抽取相應的條件數據，利用所述條件數據配置數據導出頁面，以供用戶根據所述條件數據提出導出請求，其中所述條件數據根據檢索數據庫中的索引以及字段信息配置。

7.一種數據導出裝置，其特征在于，包括：導出模塊，用于生成導出文件并將設備地址發送到關系型數據庫中存儲；所述導出模塊包括：

查詢模塊，用于根據導出請求利用檢索數據庫進行數據查詢，所述導出請求中的查詢字段根據檢索數據庫中的索引以及字段信息配置，所述檢索數據庫中的數據源從關系型數據庫中抽取；

導出文件生成模塊，用于根據查詢結果生成導出文件，將所述導出文件存儲到導出服務器中，以供所述導出服務器向發起所述導出請求的服務器傳輸所述導出文件。

8.如權利要求8所述的一種數據導出裝置，其特征在于，所述裝置還包括：

任務調度模塊，用于根據所述導出請求生成若干導出任務，將所述導出任務下發至相應的所述導出模塊。

9.一種數據導出頁面配置裝置，其特征在于，包括：

配置模塊，用于從關系型數據庫中抽取相應的條件數據，利用所述條件數據配置數據導出頁面，以供用戶根據所述條件數據提出導出請求，其中所述條件數據根據檢索數據庫中的索引以及字段信息配置。

10.一種計算機系統，其特征在于，包括：

一個或多個處理器；以及

與所述一個或多個處理器關聯的存儲器，所述存儲器用于存儲程序指令,所述程序指令在被所述一個或多個處理器讀取執行時，執行如權利要求1-5任一項所述的方法。