[發(fā)明專利]分布式數(shù)據(jù)同步到數(shù)據(jù)倉庫的方法及裝置

有效

• 申請?zhí)枺?/td>: 200910252471.0
• 申請日: 2009-12-11
• 公開（公告）號: CN102096685A
• 公開（公告）日: 2011-06-15
• 發(fā)明（設計）人: 李學升
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達信恒知識產(chǎn)權代理有限公司 11291
• 代理人: 郭潤湘

1.一種分布式數(shù)據(jù)同步到數(shù)據(jù)倉庫的方法，其特征在于，所述方法包括：

將分布式數(shù)據(jù)庫的每一個分表中的增量數(shù)據(jù)導出為文本，并對應生成文本文件；

將各文本文件中的文本導入到數(shù)據(jù)倉庫的增量表中；

根據(jù)特定的分表規(guī)則將增量表中的全部增量數(shù)據(jù)合并到數(shù)據(jù)倉庫的匯總表中，所述分表規(guī)則是指將集中式數(shù)據(jù)庫的大表中存儲的全部數(shù)據(jù)劃分到分布式數(shù)據(jù)庫的多個分表中時所遵循的規(guī)則。

2.如權利要求1所述的方法，其特征在于，所述分布式數(shù)據(jù)庫的每一個分表中的每一條記錄包括數(shù)據(jù)、以及根據(jù)該數(shù)據(jù)在大表中的位置和所述分表規(guī)則為該數(shù)據(jù)分配的全局唯一的數(shù)據(jù)標識；以及

將分布式數(shù)據(jù)庫的每一個分表中的增量數(shù)據(jù)導出為文本時，還攜帶各增量數(shù)據(jù)的全局唯一的數(shù)據(jù)標識。

3.如權利要求2所述的方法，其特征在于，所述分布式數(shù)據(jù)庫的每一個分表中的每一條記錄還包括修改時間；以及

所述增量數(shù)據(jù)是指修改時間在上一次的增量數(shù)據(jù)導出時間點到本次的增量數(shù)據(jù)導出時間點之間的時間段內(nèi)的各條記錄所包括的數(shù)據(jù)。

4.如權利要求2所述的方法，其特征在于，所述分布式數(shù)據(jù)庫的每一個分表中的每一條記錄還包括修改標志位，在每一次增量數(shù)據(jù)導出之后，將各分表中每一條記錄的修改標志位初始化設置為初始值，當任一記錄的數(shù)據(jù)內(nèi)容被修改時，將該條記錄的修改標志位設置為設定值；以及

所述增量數(shù)據(jù)是指修改標志位為設定值的各條記錄所包括的數(shù)據(jù)。

5.如權利要求2所述的方法，其特征在于，所述根據(jù)分表規(guī)則將增量表中的全部增量數(shù)據(jù)合并到數(shù)據(jù)倉庫的匯總表中，具體包括：

根據(jù)所述分表規(guī)則、以及增量表中每一個增量數(shù)據(jù)對應的全局唯一的數(shù)據(jù)標識，確定每一個增量數(shù)據(jù)在大表中的位置；

根據(jù)每一個增量數(shù)據(jù)在大表中的位置，將各增量數(shù)據(jù)合并到所述匯總表的對應位置處。

6.如權利要求1所述的方法，其特征在于，將每一個分表中的增量數(shù)據(jù)導出為文本之后，將導出的文本中所包括的設定的分隔符替換為空格。

7.一種分布式數(shù)據(jù)同步到數(shù)據(jù)倉庫的裝置，其特征在于，所述裝置包括導出單元、導入單元和匯總單元，其中：

所述導出單元，用于將分布式數(shù)據(jù)庫的每一個分表中的增量數(shù)據(jù)導出為文本，并對應生成文本文件；

所述導入單元，用于將各文本文件中的文本導入到數(shù)據(jù)倉庫的增量表中；

所述匯總單元，用于根據(jù)特定的分表規(guī)則將增量表中的全部增量數(shù)據(jù)合并到數(shù)據(jù)倉庫的匯總表中，所述分表規(guī)則是指將集中式數(shù)據(jù)庫的大表中存儲的全部數(shù)據(jù)劃分到分布式數(shù)據(jù)庫的多個分表中時所遵循的規(guī)則。

8.如權利要求7所述的裝置，其特征在于，

所述導出單元，具體用于將分布式數(shù)據(jù)庫的每一個分表中的增量數(shù)據(jù)導出為文本時，還攜帶各增量數(shù)據(jù)的全局唯一的數(shù)據(jù)標識，所述分布式數(shù)據(jù)庫的每一個分表中的每一條記錄包括數(shù)據(jù)、以及根據(jù)該數(shù)據(jù)在大表中的位置和所述分表規(guī)則為該數(shù)據(jù)分配的全局唯一的數(shù)據(jù)標識。

9.如權利要求8所述的裝置，其特征在于，

所述導出單元，具體用于將修改時間在上一次的增量數(shù)據(jù)導出時間點到本次的增量數(shù)據(jù)導出時間點之間的時間段內(nèi)的各條記錄所包括的數(shù)據(jù)確定為數(shù)據(jù)增量，所述分布式數(shù)據(jù)庫的每一個分表中的每一條記錄還包括修改時間。

10.如權利要求8所述的方法，其特征在于，所述裝置還包括設置單元，其中：

所述設置單元，用于在導出單元每一次導出增量數(shù)據(jù)之后，將各分表中每一條記錄的修改標志位初始化設置為初始值，當任一記錄的數(shù)據(jù)內(nèi)容被修改時，將該條記錄的修改標志位設置為設定值，所述分布式數(shù)據(jù)庫的每一個分表中的每一條記錄還包括修改標志位；

所述導出單元，具體用于將修改標志位為設定值的各條記錄所包括的數(shù)據(jù)確定為增量數(shù)據(jù)。

11.如權利要求8所述的裝置，其特征在于，所述匯總單元具體包括確定子單元和合并子單元，其中：

所述確定子單元，用于根據(jù)所述分表規(guī)則、以及增量表中每一個增量數(shù)據(jù)對應的全局唯一的數(shù)據(jù)標識，確定每一個增量數(shù)據(jù)在大表中的位置；

所述合并子單元，用于根據(jù)每一個增量數(shù)據(jù)在大表中的位置，將各增量數(shù)據(jù)合并到所述匯總表的對應位置處。

12.如權利要求7所述的裝置，其特征在于，

所述導入單元，還用于在導出單元將每一個分表中的增量數(shù)據(jù)導出為文本之后，將導出的文本中所包括的設定的分隔符替換為空格。