[發明專利]一種數據庫的更新方法及系統

有效

• 申請號: 201210276188.3
• 申請日: 2012-08-03
• 公開（公告）號: CN103577474A
• 公開（公告）日: 2014-02-12
• 發明（設計）人: 吳天虹
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 蘇培華

技術領域

本申請涉及數據處理技術，特別是涉及一種數據庫的更新方法及系統。

背景技術

數據庫中的數據進行同步的過程中，即數據表的更新過程中，需要定時將業務數據表中的數據同步到增量數據表中，再將增量數據表中的數據合并到全量數據表中。

其中，將增量數據表中的數據合并到全量數據表采用的方法是insert?update方式，即按照業務數據表的主鍵和更新時間，把增量數據表中增加的數據insert（插入）到全量數據表中，將增量數據表中修改的數據update（更新）到全量數據表中。

但是，采用insert?update方式時，需要遍歷全量數據表中的所有數據，才能確認增量數據表中的哪個數據是增加的，哪個數據是修改的，然后再執行插入或更新操作。

全量數據表中的數據是非常多的，并且其中的大部分數據都是不會再修改的，因此采用insert?update方式，遍歷全量數據表中的所有數據會消耗大量的資源。尤其是針對海量數據的處理時，全量數據表中的數據是數以億計的，采用insert?update方式會大大的增加資源的消耗，并且，數據處理的時間比較長，效率非常低。

發明內容

本申請提供一種數據庫的更新方法及系統，以解決數據庫的更新過程中資源消耗較大，數據處理的時間比較長，效率非常低的問題。

為了解決上述問題，本申請公開了一種數據庫的更新方法，包括：

在全量數據表中建立結束表和未結束表，其中，結束表中存儲業務執行完畢的業務數據，未結束表中存儲業務執行中的業務數據；

接收增量數據表發送的增量數據，其中，所述增量數據包括處于完成狀態的業務數據和/或處于未完成狀態的業務數據；

分別查詢每個增量數據的狀態；其中

若所述增量數據的狀態為完成，則識別所述增量數據為業務執行完畢的業務數據，在全量數據表的結束表的末尾添加所述增量數據的記錄；

若所述增量數據的狀態為未完成，則識別所述增量數據為業務執行中的業務數據，在全量數據表的未結束表中添加所述增量數據的記錄。

優選的，按照業務數據的接收時間劃分增量數據表和全量數據表的存儲分區。

優選的，所述的方法還包括：

增量數據表定時接收業務數據表發送的增量數據；

獲取所述增量數據的接收時間，并在增量數據表中建立所述接收時間對應的存儲分區；

將所述增量數據存儲到增量數據表中所述接收時間對應的存儲分區中。

優選的，在全量數據表的未結束表中添加所述增量數據的記錄，包括：

獲取接收時間，并在全量數據表的未結束表中建立所述接收時間對應的存儲分區；

在所述接收時間對應的存儲分區中添加所述增量數據的記錄。

優選的，所述在全量數據表的結束表的末尾添加所述增量數據的記錄，包括：

獲取接收時間，并在全量數據表的結束表的末尾建立所述接收時間對應的存儲分區；

在所述接收時間對應的存儲分區中添加所述增量數據唯一的記錄。

優選的，所述的方法還包括：

業務數據表中增加業務數據時，配置所述業務數據的狀態為未完成；

根據業務的執行，修改業務數據表中對應的業務數據，直到業務執行完畢，配置所述業務數據的狀態為完成。

優選的，所述的方法還包括：

業務數據表定時抽取增量數據發送給增量數據表，其中，所述增量數據包括增加的業務數據和修改的業務數據。

相應的，本申請還公開了一種數據庫的更新系統，包括全量數據表和增量數據表，其中，所述全量數據表，包括：

建立模塊，用于建立結束表和未結束表，其中，結束表中存儲業務執行完畢的業務數據，未結束表中存儲業務執行中的業務數據；

接收模塊，用于接收增量數據表發送的增量數據，其中，所述增量數據包括處于完成狀態的業務數據和/或處于未完成狀態的業務數據；

查詢模塊，用于分別查詢每個增量數據的狀態；

第一添加模塊，用于若所述增量數據的狀態為完成，則識別所述增量數據為業務執行完畢的業務數據，在全量數據表的結束表的末尾添加所述增量數據的記錄；

第二添加模塊，用于若所述增量數據的狀態為未完成，則識別所述增量數據為業務執行中的業務數據，在全量數據表的未結束表中添加所述增量數據的記錄。

優選的，按照業務數據的接收時間劃分增量數據表和全量數據表的存儲分區。

優選的，所述增量數據表，包括：