[發明專利]數據排重方法、裝置、設備及存儲介質

在審

• 申請號: 202111361971.5
• 申請日: 2021-11-17
• 公開（公告）號: CN116136836A
• 公開（公告）日: 2023-05-19
• 發明（設計）人: 李奕霖;馬子恒;王樹棟;高翔
• 申請（專利權）人: 中國移動通信集團青海有限公司;中國移動通信集團有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/174;G06F16/182
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 陳文斌

本申請公開了一種數據排重方法、裝置、設備及存儲介質，該方法包括：在檢測到應用程序的排重請求時，確定所述排重請求對應第一數據的第一關鍵信息，所述排重請求用于檢查所述排重請求對應的排重數據中是否存在與所述第一數據重復的第二數據；確定超級賬本的世界狀態中是否存在與所述第一關鍵信息一致的第二關鍵信息，所述超級賬本中的世界狀態用于存儲關鍵信息；若未存在所述第二關鍵信息，確定所述排重請求對應的排重數據中未存在與所述第一數據重復的第二數據。在本申請中，實現排重過程的去中心化，由于實現排重的去中心化，因而具有更高的容災性能，也不需要部署額外的容災應用。

技術領域

本申請涉及通信計算機技術領域，尤其涉及一種數據排重方法、裝置、設備及存儲介質。

背景技術

文件排重是指對海量文件進行比對分析，從而從海量文件中查找出重復文件，以達到節省存儲資源的目的。

現有技術中為了實現文件排重，通常采用如下方式：將一定時間內的排重信息加載至內存庫，應用程序端在處理文件期間，實時從內存庫中查詢排重信息，從而達到排重目的。

當發生容災切換時，除了需要部署額外的容災應用外，上述排重方式只能準實時地將內存庫中的排重信息同步到容災中心，容災性能偏低，數據丟失風險高。

發明內容

本申請的主要目的在于提供一種數據排重方法、裝置、設備及存儲介質，旨在解決現有容災性能偏低，數據丟失風險高的技術問題。

為實現上述目的，本申請提供一種數據排重方法，所述數據排重方法包括：

在檢測到應用程序的排重請求時，確定所述排重請求對應第一數據的第一關鍵信息，所述排重請求用于檢查所述排重請求對應的排重數據中是否存在與所述第一數據重復的第二數據；

確定超級賬本的世界狀態中是否存在與所述第一關鍵信息一致的第二關鍵信息，所述超級賬本中的世界狀態用于存儲關鍵信息；

若未存在所述第二關鍵信息，確定所述排重請求對應的排重數據中未存在與所述第一數據重復的第二數據。

可選地，所述確定區塊鏈超級賬本的世界狀態中是否存在與所述第一關鍵信息一致的第二關鍵信息的步驟之后，所述方法包括：

若存在所述第二關鍵信息，獲取所述世界狀態中針對所述排重請求的返回數據；

根據所述返回數據，確定所述排重請求對應的排重數據中是否存在與所述第一數據重復的第二數據。

可選地，所述第一數據為話單文件，所述根據所述返回數據，確定所述排重請求對應的排重數據中是否存在與所述第一數據重復的第二數據的步驟，包括：

從所述排重請求中提取得到第一話單開始時間以及第一話單結束時間；

從所述返回數據中解析出第二話單開始時間和第二話單結束時間；

確定由所述第一話單開始時間以及第一話單結束時間構成的第一時間段，是否包含在由所述第二話單開始時間和所述第二話單結束時間構成的第二時間段內；

若包含在由所述第二話單開始時間和所述第二話單結束時間構成的第二時間段內，則確定排重請求對應排重數據中未存在與所述第一數據重復的第二數據。

可選地，所述確定由所述第一話單開始時間以及第一話單結束時間構成的第一時間段，是否包含在由所述第二話單開始時間和所述第二話單結束時間構成的第二時間段內的步驟之后，所述方法包括：

若未包含在由所述第二話單開始時間和所述第二話單結束時間構成的第二時間段內，則確定排重請求對應排重數據中存在與所述第一數據重復的第二數據；

若存在與所述第一數據重復的第二數據，則確定不存儲所述第一數據對應的第一關鍵信息。