[發(fā)明專利]數(shù)據(jù)處理方法及裝置

有效

• 申請?zhí)枺?/td>: 201811201880.3
• 申請日: 2018-10-16
• 公開（公告）號: CN109388646B
• 公開（公告）日: 2021-03-02
• 發(fā)明（設(shè)計(jì)）人: 郝向東
• 申請（專利權(quán)）人: 新華三大數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23
• 代理公司: 北京林達(dá)劉知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種數(shù)據(jù)處理方法及裝置，所述方法包括：接收數(shù)據(jù)讀取請求，所述數(shù)據(jù)讀取請求用于請求從數(shù)據(jù)庫的多張表中讀取數(shù)據(jù)；獲取所述多張表中每張表的投票信息，所述投票信息為表中保存的數(shù)據(jù)的最新時間戳；根據(jù)獲取的所述投票信息，確定從所述多張表中讀取的數(shù)據(jù)的時間戳；從所述多張表中讀取所確定的時間戳對應(yīng)的數(shù)據(jù)。由此，能夠降低讀操作的等待時間，并且能夠確保讀取的數(shù)據(jù)的完整性。

技術(shù)領(lǐng)域

本公開涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及裝置。

背景技術(shù)

在分析數(shù)據(jù)時，通常需要對多數(shù)據(jù)源的同一批次的數(shù)據(jù)進(jìn)行關(guān)聯(lián)以得到完整的原始數(shù)據(jù)樣本。然而，由于數(shù)據(jù)采集的時間和數(shù)據(jù)寫入的時間不同，因此讀取的數(shù)據(jù)的批次可能不一致或讀取的數(shù)據(jù)不完整，從而難以保證多數(shù)據(jù)源的同一批次的數(shù)據(jù)的一致性和完整性，由此導(dǎo)致分析結(jié)果不準(zhǔn)確。

相關(guān)技術(shù)中，通過如下方式來保證多數(shù)據(jù)源的同一批次的數(shù)據(jù)的一致性：在執(zhí)行寫操作時，對數(shù)據(jù)庫中的表上鎖，其中在寫操作期間禁止從上鎖的表讀取數(shù)據(jù)；在寫操作完成后，釋放鎖并且從釋放了鎖的表讀取數(shù)據(jù)。

然而，當(dāng)同時對數(shù)據(jù)庫中的大量的表執(zhí)行寫操作時，占用了較大的資源并且延長了讀操作的等待時間，從而降低了用戶體驗(yàn)。另外，在讀操作的等待時間過長的情況下，讀線程被殺死而無法返回?cái)?shù)據(jù)，或者為了避免讀線程被殺死，而僅能夠從釋放了鎖的表讀取數(shù)據(jù)，從而導(dǎo)致讀取的數(shù)據(jù)不完整。

因此，上述保證多數(shù)據(jù)源的同一批次的數(shù)據(jù)的一致性的方式是不合適的。

發(fā)明內(nèi)容

有鑒于此，本公開提出了一種數(shù)據(jù)處理方法及裝置。

根據(jù)本公開的一方面，提供了一種數(shù)據(jù)處理方法，所述方法包括：

接收數(shù)據(jù)讀取請求，所述數(shù)據(jù)讀取請求用于請求從數(shù)據(jù)庫的多張表中讀取數(shù)據(jù)；

獲取所述多張表中每張表的投票信息，所述投票信息為表中保存的數(shù)據(jù)的最新時間戳；

根據(jù)獲取的所述投票信息，確定從所述多張表中讀取的數(shù)據(jù)的時間戳；

從所述多張表中讀取所確定的時間戳對應(yīng)的數(shù)據(jù)。

根據(jù)本公開的另一方面，提供了一種數(shù)據(jù)處理裝置，所述裝置包括：

接收模塊，用于接收數(shù)據(jù)讀取請求，所述數(shù)據(jù)讀取請求用于請求從數(shù)據(jù)庫的多張表中讀取數(shù)據(jù)；

獲取模塊，用于獲取所述多張表中每張表的投票信息，所述投票信息為表中保存的數(shù)據(jù)的最新時間戳；

確定模塊，用于根據(jù)獲取的所述投票信息，確定從所述多張表中讀取的數(shù)據(jù)的時間戳；

讀取模塊，用于從所述多張表中讀取所確定的時間戳對應(yīng)的數(shù)據(jù)。

本公開的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：在接收到數(shù)據(jù)讀取請求時，獲取數(shù)據(jù)讀取請求所請求的多張表中每張表的投票信息，并且根據(jù)獲取的投票信息來確定從多張表中讀取的數(shù)據(jù)的時間戳，再從多張表中讀取所確定的時間戳對應(yīng)的數(shù)據(jù)，由此，能夠降低讀操作的等待時間，并且能夠確保讀取的數(shù)據(jù)的完整性。

根據(jù)下面參考附圖對示例性實(shí)施例的詳細(xì)說明，本公開的其它特征及方面將變得清楚。

附圖說明

包含在說明書中并且構(gòu)成說明書的一部分的附圖與說明書一起示出了本公開的示例性實(shí)施例、特征和方面，并且用于解釋本公開的原理。

圖1是根據(jù)一示例性實(shí)施例示出的一種數(shù)據(jù)處理方法的流程圖。

圖2是根據(jù)一示例性實(shí)施例示出的一種數(shù)據(jù)處理裝置的框圖。

圖3是根據(jù)一示例性實(shí)施例示出的一種數(shù)據(jù)處理裝置的硬件結(jié)構(gòu)框圖。

具體實(shí)施方式