[發明專利]一種數據導出的方法和裝置

有效

• 申請號: 200910166485.0
• 申請日: 2009-08-19
• 公開（公告）號: CN101996067A
• 公開（公告）日: 2011-03-30
• 發明（設計）人: 奎躍翔
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F9/38
• 分類號: G06F9/38;G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 逯長明;王寶筠

1.一種數據導出的方法，其特征在于，該方法包括：

接收待導出數據的導出條件和導出配置信息，所述導出配置信息包括單個任務的最大線程數，和，每個線程的單次記錄數；

根據所述導出條件、最大線程數和單次記錄數生成導出任務；

依據所述導出任務對所述待導出數據進行導出。

2.根據權利要求1所述的方法，其特征在于，所述導出配置信息還包括緩存失效時間；

則所述方法還包括：

根據所述導出條件從數據庫中獲取所述待導出數據的第一記錄數；

比較所述第一記錄數與上一次相同導出條件下保存的第二記錄數；

當所述第一記錄數與第二記錄數相等時，判斷所述上一次進行導出操作時的導出時間是否在所述緩存失效時間內；

如果否，則執行所述根據所述導出條件、最大線程數和單次記錄數生成導出任務的步驟。

3.根據權利要求2所述的方法，其特征在于，所述依據所述導出任務對所述待導出數據進行導出之后，還包括：

保存本次導出時的導出條件和記錄總數。

4.根據權利要求1所述的方法，其特征在于，所述根據所述導出條件、最大線程數和單次記錄數生成導出任務，具體包括：

根據所述導出條件從數據庫中獲取所述待導出數據的第一記錄數；

根據所述單次記錄數和所述第一記錄數，計算當前任務的線程個數；

按照所述線程個數創建線程，并按照所述單次記錄數為每個所述創建的線程分配數據區間；

按照所述數據區間啟動所述創建的每一個線程。

5.根據權利要求4所述的方法，其特征在于，所述依據所述導出任務對所述待導出數據進行導出，具體包括：

獲取每個線程的數據區間對應的待導出數據；

調用相應的目標格式文件組件，將所述待導出數據生成對應個數的目標格式的文件。

6.根據權利要求4所述的方法，其特征在于，所述依據所述導出任務和導出條件對所述待導出數據進行導出之后，還包括：

在同步模式下，直接將所述導出的結果文件返回至客戶端。

7.一種數據導出的裝置，其特征在于，該裝置包括：

接收模塊，用于接收待導出數據的導出條件和導出配置信息，所述導出配置信息包括單個任務的最大線程數，和，每個線程的單次記錄數；

生成模塊，用于根據所述導出條件、最大線程數和單次記錄數生成導出任務；

導出模塊，用于依據所述導出任務對所述待導出數據進行導出。

8.根據權利要求7所述的裝置，其特征在于，所述裝置還包括：

獲取模塊，用于從數據庫中獲取所述待導出數據的第一記錄數；

比較模塊，用于比較所述第一記錄數與上一次相同導出條件下導出時的第二記錄數；

判斷模塊，用于當所述第一記錄數與第二記錄數相等時，判斷所述上一次進行導出操作時的導出時間是否在所述緩存失效時間內；

執行模塊，用于當所述判斷模塊的結果為否時，執行所述根據所述最大線程數和單次記錄數生成導出任務的步驟。

9.根據權利要求7所述的裝置，其特征在于，還包括：

保存模塊，用于保存本次導出時的導出條件和導出的記錄總數。

10.根據權利要求7所述的裝置，其特征在于，所述生成模塊具體包括：

第一獲取子模塊，用于從數據庫中獲取所述待導出數據的第一記錄數；

計算子模塊，用于根據所述單次記錄數和所述第一記錄數，計算當前任務的線程個數；

創建線程子模塊，用于按照所述線程個數創建線程，并按照所述單次記錄數為每個所述創建的線程分配數據區間；

啟動線程子模塊，用于按照所述數據區間啟動所述創建的每一個線程。

11.根據權利要求7所述的裝置，其特征在于，所述導出模塊具體包括：

第二獲取子模塊，用于獲取每個線程的數據區間對應的待導出數據；

生成子模塊，用于調用相應的目標格式文件組件，將所述待導出數據生成對應個數的目標格式的文件。

12.根據權利要求7所述的裝置，其特征在于，還包括：

返回模塊，用于在同步模式下，直接將所述導出的結果文件返回至客戶端。