[發明專利]一種基于頻度分區的數據表比對更新方法與裝置

有效

• 申請號: 201310170579.1
• 申請日: 2013-05-10
• 公開（公告）號: CN104142954B
• 公開（公告）日: 2017-11-21
• 發明（設計）人: 張青;謝曉軍;陳康;向勇;陳翀
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中國國際貿易促進委員會專利商標事務所11038
• 代理人: 曲瑞

技術領域

本公開涉及云計算領域，特別地，涉及一種數據表比對更新方法與裝置。

背景技術

隨著大數據時代的到來，在企業數據應用中，經常需要對數據，特別是對諸如系統間共享的主數據進行稽核、增量更新上傳、生命周期管理等處理，這些處理在數據庫中更多涉及到對數據表進行全字段的比對更新等操作。如果數據表中字段多、數據量大，則該環節將成為數據處理的性能瓶頸所在，因此，如何對較大的數據表中的各項數據進行高效地比對是目前亟待解決的技術問題。

發明內容

本公開鑒于以上問題中的至少一個提出了新的技術方案。

本公開在其一個方面提供了一種數據表比對更新方法，其可以較快的定位有更新的字段區域，提高數據比對效率。

本公開在其另一方面提供了一種數據表比對更新裝置，其可以較快的定位有更新的字段區域，提高數據比對效率。

根據本公開，提供一種數據表比對更新方法，包括：

基于接收到的數據表中各字段對應的數據分別計算數據表的各個分區的CRC校驗碼，其中，數據表的各個分區是按照數據表中各字段的更新頻率劃分的；

利用數據表中的主鍵和計算出的各個分區的CRC校驗碼與存儲的主鍵和各個分區的CRC校驗碼進行比對，根據CRC校驗碼的不同確定數據有更新的分區；

根據處理需求對數據有更新的分區進行相應的處理；

更新存儲的CRC校驗碼。

在本公開的一些實施例中，更新存儲的CRC校驗碼的步驟包括：

如果計算出的CRC校驗碼與存儲的CRC校驗碼不同，則利用計算出的CRC校驗碼更新相應分區的存儲的CRC校驗碼。

在本公開的一些實施例中，更新存儲的CRC校驗碼的步驟包括：

判斷數據表中各字段的更新頻率在維護周期內是否超過預定的分區范圍或閾值；

如一個或多個字段超過預定的分區范圍或閾值，則根據一個或多個字段的更新頻率重新調整分區；

基于調整后的分區生成并存儲各個分區的CRC校驗碼。

根據本公開，還提供了一種數據表比對更新裝置，包括：

CRC校驗碼計算單元，用于基于接收到的數據表中各字段對應的數據分別計算數據表的各個分區的CRC校驗碼，其中，數據表的各個分區是按照數據表中各字段的更新頻率劃分的；

CRC比對單元，用于利用數據表中的主鍵和計算出的各個分區的CRC校驗碼與存儲的主鍵和各個分區的CRC校驗碼進行比對，以根據CRC校驗碼的不同確定數據有更新的分區；

數據處理單元，用于根據處理需求對數據有更新的分區進行相應的處理；

CRC校驗碼更新單元，用于更新存儲的CRC校驗碼。

在本公開的一些實施例中，如果計算出的CRC校驗碼與存儲的CRC校驗碼不同，則CRC校驗碼更新單元利用計算出的CRC校驗碼更新相應分區的存儲的CRC校驗碼。

在本公開的一些實施例中，CRC校驗碼更新單元判斷數據表中各字段的更新頻率在維護周期內是否超過預定的分區范圍或閾值；如一個或多個字段超過預定的分區范圍或閾值，則根據一個或多個字段的更新頻率重新調整分區；基于調整后的分區生成并存儲各個分區的CRC校驗碼。

在本公開的技術方案中，由于根據數據表各字段的更新頻率對數據表的字段進行了分區，在進行比對時，就可以不像現有技術那樣逐個字段地進行比較，而是先對所分的各個區的CRC校驗碼進行比較，在CRC校驗碼相同的情況下，就可以知道該區域內的數據與上次相比沒有發生變化，而僅針對CRC校驗碼發生變化的區域再根據用戶需求確定是否需要逐個字段地進行比較，顯著提高了對變更數據的定位速度。

附圖說明

此處所說明的附圖用來提供對本公開的進一步理解，構成本申請的一部分。在附圖中：

圖1是本公開一個實施例的數據表比對更新方法的流程示意圖。

圖2是本公開一個實施例的數據表比對更新方法的流程示意圖。

圖3是本公開對數據表進行更新頻度分區的示意圖。

圖4是本公開一個實施例的數據表比對更新裝置的結構示意圖。

具體實施方式

下面將參照附圖描述本公開。要注意的是，以下的描述在本質上僅是解釋性和示例性的，決不作為對本公開及其應用或使用的任何限制。除非另外特別說明，否則，在實施例中闡述的部件和步驟的相對布置以及數字表達式和數值并不限制本公開的范圍。另外，本領域技術人員已知的技術、方法和裝置可能不被詳細討論，但在適當的情況下意在成為說明書的一部分。