[發明專利]數據排重方法、裝置、設備及存儲介質

在審

• 申請號: 202111361971.5
• 申請日: 2021-11-17
• 公開（公告）號: CN116136836A
• 公開（公告）日: 2023-05-19
• 發明（設計）人: 李奕霖;馬子恒;王樹棟;高翔
• 申請（專利權）人: 中國移動通信集團青海有限公司;中國移動通信集團有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/174;G06F16/182
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 陳文斌

1.一種數據排重方法，其特征在于，所述數據排重方法包括：

在檢測到應用程序的排重請求時，確定所述排重請求對應第一數據的第一關鍵信息，所述排重請求用于檢查所述排重請求對應的排重數據中是否存在與所述第一數據重復的第二數據；

確定超級賬本的世界狀態中是否存在與所述第一關鍵信息一致的第二關鍵信息，所述超級賬本中的世界狀態用于存儲關鍵信息；

若未存在所述第二關鍵信息，確定所述排重請求對應的排重數據中未存在與所述第一數據重復的第二數據。

2.根據權利要求1所述的數據排重方法，其特征在于，所述確定超級賬本的世界狀態中是否存在與所述第一關鍵信息一致的第二關鍵信息的步驟之后，所述方法包括：

若存在所述第二關鍵信息，獲取所述世界狀態中針對所述排重請求的返回數據；

根據所述返回數據，確定所述排重請求對應的排重數據中是否存在與所述第一數據重復的第二數據。

3.如權利要求2所述的數據排重方法，其特征在于，所述第一數據為話單文件，所述根據所述返回數據，確定所述排重請求對應的排重數據中是否存在與所述第一數據重復的第二數據的步驟，包括：

從所述排重請求中提取得到第一話單開始時間以及第一話單結束時間；

從所述返回數據中解析出第二話單開始時間和第二話單結束時間；

確定由所述第一話單開始時間以及第一話單結束時間構成的第一時間段，是否包含在由所述第二話單開始時間和所述第二話單結束時間構成的第二時間段內；

若包含在由所述第二話單開始時間和所述第二話單結束時間構成的第二時間段內，則確定排重請求對應排重數據中未存在與所述第一數據重復的第二數據。

4.如權利要求3所述的數據排重方法，其特征在于，所述確定由所述第一話單開始時間以及第一話單結束時間構成的第一時間段，是否包含在由所述第二話單開始時間和所述第二話單結束時間構成的第二時間段內的步驟之后，所述方法包括：

若未包含在由所述第二話單開始時間和所述第二話單結束時間構成的第二時間段內，則確定排重請求對應排重數據中存在與所述第一數據重復的第二數據；

若存在與所述第一數據重復的第二數據，則確定不存儲所述第一數據對應的第一關鍵信息。

5.如權利要求1所述的數據排重方法，其特征在于，所述若未存在所述第二關鍵信息，確定所述排重請求對應的排重數據中未存在與所述第一數據重復的第二數據的步驟之后，所述方法包括：

獲取應用程序提交的寫入請求，其中，所述應用程序在確定未存在與所述第一數據重復的第二數據后，觸發生成所述寫入請求；

基于所述寫入請求寫入并保存所述第一數據；

將所述第一數據的第一關鍵信息保存至所述世界狀態中。

6.如權利要求1-5任一項所述的數據排重方法，其特征在于，所述在檢測到應用程序的排重請求時，確定所述排重請求對應第一數據的第一關鍵信息的步驟，包括：

在檢測到應用程序的排重請求時，確定所述排重請求對應第一數據的用戶標識、話單特征碼、第一話單開始時間以及第一話單結束時間；

確定所述用戶標識的第一散列值以及所述話單特征碼的第二散列值；

基于所述第一散列值、所述第二散列值、所述第一話單開始時間以及第一話單結束時間，確定所述排重請求對應第一數據的第一關鍵信息。

7.如權利要求6所述的數據排重方法，其特征在于，所述確定所述用戶標識的第一散列值以及所述話單特征碼的第二散列值的步驟，包括：

對所述用戶標識進行Md5取值，得到第一取值，將第一取值第一預設字符處的字符值作為第一散列值；

對所述話單特征碼進行Md5取值，得到第二取值，將第二取值第二預設字符處的字符值作為第二散列值。