[發明專利]一種基于數據庫分區的數據更新方法、裝置及系統

在審

• 申請號: 202010762855.3
• 申請日: 2020-07-31
• 公開（公告）號: CN113297232A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 張浩然;潘岳
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/22
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 周嗣勇

本說明書公開一種基于數據庫分區的數據更新方法、裝置及系統，該方法應用于包括數據接收單元和數據更新單元的系統，方法包括：數據接收單元，持續性接收待更新數據，將接收到的待更新數據寫入臨時存儲位置，并確定每條待更新數據所對應的更新目標分區；數據更新單元，針對任一更新目標分區，在預設的更新時間點執行以下操作：確定對應于該分區的待更新數據量；判斷待更新數據量是否達到對應于該分區的預設閾值；若待更新數據量達到預設閾值，則在當前時間點執行針對該分區的數據更新操作。

技術領域

本說明書涉及數據庫分區技術領域，尤其涉及一種基于數據庫分區的數據更新方法、裝置及系統。

背景技術

數據庫分區是一種數據庫設計技術，按照預定義的規則將數據存儲在不同的物理位置，例如不同文件、不同硬盤等等。目的是減少查詢數據的時所需要讀取的數據總量以提高查詢效率。舉例而言，一個包含十年發票記錄的表可以被分區為十個不同的分區，每個分區包含的是其中一年的記錄。在查詢時，可以直接在某個分區中進行查詢，而非對整張表進行查詢，減少了讀取數據的數據量，因此提高了查詢效率。

現有技術中，對分區中存儲的數據更新過程如下：在接收到數據后，會確定接收到的數據各自所屬的分區，并且在預設的周期性時間點，對各分區的數據進行全量讀取，讀取完成后與緩存中的數據進行合并，得到更新后數據，以更新后的數據替換該分區中原有的數據。

以上述方式對分區中的數據進行更新，在需要更新的數據較少時，仍需要讀取該分區中的全量數據，更新的性價比較低，且對于數據庫而言，每個周期需要讀取大量分區中的數據，因此每個周期更新效率較低，資源消耗量較大。

發明內容

針對上述技術問題，本說明書提供一種基于數據庫分區的數據更新方法及系統，技術方案如下：

根據本說明書的第一方面，提供一種基于數據庫分區的數據更新方法，應用于包括數據接收單元和數據更新單元的系統，該方法包括：

數據接收單元，持續性接收待更新數據，將接收到的待更新數據寫入臨時存儲位置，并確定每條待更新數據所對應的更新目標分區；

數據更新單元，針對任一更新目標分區，在預設的更新時間點執行以下操作：

確定對應于該分區的待更新數據量；

判斷所述待更新數據量是否達到對應于該分區的預設閾值；

若待更新數據量達到預設閾值，則在當前時間點執行針對該分區的數據更新操作。

根據本說明書的第二方面，提供一種基于數據庫分區的數據更新裝置，包括：

數據接收單元，用于持續性接收待更新數據，將接收到的待更新數據寫入臨時存儲位置，并確定每條待更新數據所對應的更新目標分區；

數據更新單元，用于針對任一更新目標分區，在預設的更新時間點執行以下操作：

確定對應于該分區的待更新數據量；

判斷所述待更新數據量是否達到對應于該分區的預設閾值；

在待更新數據量達到預設閾值的情況下，在當前時間點執行針對該分區的數據更新操作。

根據本說明書的第三方面，提供一種基于數據庫分區的數據更新系統，包括：數據接收單元、數據更新單元、臨時存儲位置以及至少兩個數據庫分區；

所述數據接收單元，用于持續性接收待更新數據，將接收到的待更新數據寫入臨時存儲位置，并確定每條待更新數據所對應的更新目標分區；

所述數據更新單元，用于針對任一更新目標分區，在預設的更新時間點執行以下操作：

確定對應于該分區的待更新數據量；