[發(fā)明專利]數(shù)據(jù)比對方法、計算設(shè)備及計算機存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110327734.0
• 申請日: 2021-03-26
• 公開（公告）號: CN112905602B
• 公開（公告）日: 2022-09-30
• 發(fā)明（設(shè)計）人: 馮威
• 申請（專利權(quán)）人: 掌閱科技股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2457
• 代理公司: 北京市浩天知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11276
• 代理人: 張穎瑛

1.一種數(shù)據(jù)比對方法，包括：

從第一數(shù)據(jù)源獲取第一比對數(shù)據(jù)集合，以及從第二數(shù)據(jù)源獲取第二比對數(shù)據(jù)集合；其中，采用分批次獲取的方式從第一數(shù)據(jù)源及第二數(shù)據(jù)源中獲取數(shù)據(jù)，在上一次第一數(shù)據(jù)源和/或第二數(shù)據(jù)源的響應(yīng)時間超出預(yù)設(shè)響應(yīng)時間閾值時，使本次第一比對數(shù)據(jù)集合和/或第二比對數(shù)據(jù)集合包含的數(shù)據(jù)的數(shù)量小于初始值；在上一次第一數(shù)據(jù)源和/或第二數(shù)據(jù)源的響應(yīng)時間小于或等于預(yù)設(shè)響應(yīng)時間閾值時，使本次第一比對數(shù)據(jù)集合和/或第二比對數(shù)據(jù)集合包含的數(shù)據(jù)的數(shù)量大于或等于初始值；其中，第一次第一比對數(shù)據(jù)集合和/或第二比對數(shù)據(jù)集合包含的數(shù)據(jù)的數(shù)量為初始值；

將所述第一比對數(shù)據(jù)集合與所述第二比對數(shù)據(jù)集合進行數(shù)據(jù)比對，并識別出所述第一比對數(shù)據(jù)集合和所述第二比對集合的差異數(shù)據(jù)；

將識別出的差異數(shù)據(jù)的相關(guān)信息存儲至延遲比對隊列中；

當(dāng)差異數(shù)據(jù)的相關(guān)信息在所述延遲比對隊列的存儲時長達(dá)到預(yù)設(shè)時長時，從所述延遲比對隊列中提取差異數(shù)據(jù)的相關(guān)信息，并根據(jù)提取出的差異數(shù)據(jù)的相關(guān)信息對第一數(shù)據(jù)源及第二數(shù)據(jù)源中的數(shù)據(jù)進行再次數(shù)據(jù)比對；該預(yù)設(shè)時長根據(jù)差異數(shù)據(jù)的相關(guān)信息在延遲比對隊列中的存儲次數(shù)確定，同一差異數(shù)據(jù)的相關(guān)信息，其在延遲比對隊列中的存儲次數(shù)不同，則對應(yīng)的預(yù)設(shè)時長不同。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述差異數(shù)據(jù)包括：標(biāo)識差異數(shù)據(jù)及內(nèi)容差異數(shù)據(jù)；

所述標(biāo)識差異數(shù)據(jù)的數(shù)據(jù)標(biāo)識僅存在于第一比對數(shù)據(jù)集合中；或者，所述標(biāo)識差異數(shù)據(jù)的數(shù)據(jù)標(biāo)識僅存在于第二比對數(shù)據(jù)集合中；

所述內(nèi)容差異數(shù)據(jù)的數(shù)據(jù)標(biāo)識同時存在于第一比對數(shù)據(jù)集合及第二比對數(shù)據(jù)集合中。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述當(dāng)差異數(shù)據(jù)的相關(guān)信息在所述延遲比對隊列的存儲時長達(dá)到預(yù)設(shè)時長時，從所述延遲比對隊列中提取差異數(shù)據(jù)的相關(guān)信息進一步包括：當(dāng)差異數(shù)據(jù)的相關(guān)信息在所述延遲比對隊列的單次存儲時長達(dá)到預(yù)設(shè)時長時，從所述延遲比對隊列中提取該差異數(shù)據(jù)的相關(guān)信息；

在所述根據(jù)提取出的差異數(shù)據(jù)的相關(guān)信息對第一數(shù)據(jù)源及第二數(shù)據(jù)源中的數(shù)據(jù)進行再次數(shù)據(jù)比對之后，所述方法還包括：若所述差異數(shù)據(jù)對應(yīng)的再次數(shù)據(jù)比對結(jié)果為失敗，則將提取出的差異數(shù)據(jù)的相關(guān)信息重新存儲至所述延遲比對隊列中。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述差異數(shù)據(jù)的相關(guān)信息為差異數(shù)據(jù)的數(shù)據(jù)標(biāo)識；

則所述根據(jù)提取出的差異數(shù)據(jù)的相關(guān)信息對第一數(shù)據(jù)源及第二數(shù)據(jù)源中的數(shù)據(jù)進行再次數(shù)據(jù)比對進一步包括：

在所述第一數(shù)據(jù)源中查找與所述差異數(shù)據(jù)的數(shù)據(jù)標(biāo)識相同的目標(biāo)第一數(shù)據(jù)，以及在所述第二數(shù)據(jù)源中查找與所述差異數(shù)據(jù)的數(shù)據(jù)標(biāo)識相同的目標(biāo)第二數(shù)據(jù)；

若能夠查找到目標(biāo)第一數(shù)據(jù)且無法查找到目標(biāo)第二數(shù)據(jù)，則確定所述差異數(shù)據(jù)對應(yīng)的再次數(shù)據(jù)比對結(jié)果為失敗；和/或，若能夠查找到目標(biāo)第二數(shù)據(jù)且無法查找到目標(biāo)第一數(shù)據(jù)，則確定所述差異數(shù)據(jù)對應(yīng)的再次數(shù)據(jù)比對結(jié)果為失敗；和/或，若能夠查找到目標(biāo)第一數(shù)據(jù)及目標(biāo)第二數(shù)據(jù)，但目標(biāo)第一數(shù)據(jù)及目標(biāo)第二數(shù)據(jù)的數(shù)據(jù)內(nèi)容不一致，則確定所述差異數(shù)據(jù)對應(yīng)的再次數(shù)據(jù)比對結(jié)果為失敗。

5.根據(jù)權(quán)利要求3所述的方法，其中，所述若所述差異數(shù)據(jù)對應(yīng)的再次數(shù)據(jù)比對結(jié)果為失敗，則將提取出的差異數(shù)據(jù)的相關(guān)信息重新存儲至所述延遲比對隊列中進一步包括：

若所述差異數(shù)據(jù)對應(yīng)的再次數(shù)據(jù)比對結(jié)果為失敗，則判斷所述差異數(shù)據(jù)的相關(guān)信息在延遲比對隊列中的存儲次數(shù)是否小于預(yù)設(shè)次數(shù)閾值；

若所述存儲次數(shù)小于預(yù)設(shè)次數(shù)閾值，則將所述差異數(shù)據(jù)的相關(guān)信息重新存儲至延遲比對隊列中。

6.根據(jù)權(quán)利要求5所述的方法，其中，在所述判斷所述差異數(shù)據(jù)的相關(guān)信息在延遲比對隊列中的存儲次數(shù)是否小于預(yù)設(shè)次數(shù)閾值之后，所述方法還包括：

若所述存儲次數(shù)大于或等于預(yù)設(shè)次數(shù)閾值，則將所述差異數(shù)據(jù)的相關(guān)信息記錄于異常數(shù)據(jù)列表中。