[發明專利]數據查重方法、裝置、設備及計算機存儲介質

在審

• 申請號: 202010558327.6
• 申請日: 2020-06-17
• 公開（公告）號: CN111708771A
• 公開（公告）日: 2020-09-25
• 發明（設計）人: 周佳敏;劉建波;李凌
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 謝閱

本發明涉及金融科技(Fintech)技術領域，并公開了一種數據查重方法，該方法包括：當接收到目標數據，檢測是否對所述目標數據進行查重處理；若是，則檢測所述目標數據對應的數據交易是否滿足預設的忽略條件；若不滿足，則計算所述目標數據對應的當前摘要，并確定所述當前摘要對應的目標時間范圍，將所述目標時間范圍和所述當前摘要插入至所述目標數據對應的摘要數據表，以獲取目標摘要數據表，并檢測所述目標摘要數據表是否發生主鍵唯一性沖突；若所述目標摘要數據表發生主鍵唯一性沖突，則確定所述目標數據為重復數據。本發明還公開了一種數據查重裝置、設備和一種計算機存儲介質。本發明提高了數據查重處理的可用性。

技術領域

本發明涉及金融科技(Fintech)領域，尤其涉及數據查重方法、裝置、設備及計算機存儲介質。

背景技術

隨著計算機技術的發展，越來越多的技術(大數據、分布式、區塊鏈Blockchain、人工智能等)應用在金融領域，傳統金融業正在逐步向金融科技(Fintech)轉變，但由于金融行業的安全性、實時性要求，也對技術提出了更高的要求。目前在進行數據交易時，經常會由于如網絡因素、技術因素、客戶因素、或者為保證分布式一致性而采用的補償手段等原因導致出現重復數據，嚴重影響到數據交易的正常進行，但針對重復數據進行的現有數據查重方式存在各種局限性(如需要較大的內存、或對業務代碼具有侵入性等)，可用性低。因此，如何提高數據查重處理的可用性成為了目前亟待解決的技術問題。

發明內容

本發明的主要目的在于提出一種數據查重方法、裝置、設備及計算機存儲介質，旨在解決如何提高數據查重處理的可用性的技術問題。

為實現上述目的，本發明提供一種數據查重方法，所述數據查重方法包括如下步驟：

當接收到目標數據，檢測是否對所述目標數據進行查重處理；

若是，則檢測所述目標數據對應的數據交易是否滿足預設的忽略條件；

若不滿足，則計算所述目標數據對應的當前摘要，并確定所述當前摘要對應的目標時間范圍，將所述目標時間范圍和所述當前摘要插入至所述目標數據對應的摘要數據表，以獲取目標摘要數據表，并檢測所述目標摘要數據表是否發生主鍵唯一性沖突；

若所述目標摘要數據表發生主鍵唯一性沖突，則確定所述目標數據為重復數據。

可選地，確定所述當前摘要對應的目標時間范圍的步驟，包括：

獲取所述當前摘要對應的當前時間范圍，并確定所述當前時間范圍的上一個時間范圍；

根據所述當前時間范圍和所述上一個時間范圍確定所述目標時間范圍。

可選地，根據所述當前時間范圍和所述上一個時間范圍確定所述目標時間范圍的步驟，包括：

確定所述上一個時間范圍的初始時間節點，確定所述當前時間范圍的結束時間節點，并將所述初始時間節點至所述結束時間節點的時間范圍作為目標時間范圍。

可選地，計算所述目標數據對應的當前摘要的步驟，包括：

檢測所述目標數據對應的配置項是否滿足預設配置條件；

若所述配置項滿足預設配置條件，則獲取所述數據交易對應的業務流水號和所述目標數據對應的報文，將所述業務流水號和所述報文進行轉換處理，以獲取當前摘要。

可選地，檢測所述目標數據對應的配置項是否滿足預設配置條件的步驟之后，包括：

若所述配置項不滿足預設配置條件，則獲取所述目標數據對應的報文，并對所述報文進行轉換處理，以獲取當前摘要。

可選地，檢測是否對所述目標數據進行查重處理的步驟，包括：