[發明專利]一種業務數據處理方法、裝置、設備及存儲介質

在審

• 申請號: 202110058355.6
• 申請日: 2021-01-15
• 公開（公告）號: CN112749166A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 孫亮
• 申請（專利權）人: 京東數字科技控股股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本申請公開了一種業務數據處理方法、裝置、設備及存儲介質，該方法包括：從原始服務器中獲取業務數據；根據業務屬性哈希與數據組件哈希組合的方式將業務數據中符合業務條件的數據存儲至新服務器；通過多分片并發遍歷的方式從新服務器中獲取存儲的數據；在獲取的存儲的數據滿足發送要求的情況下，將存儲的數據發送至存儲的數據對應的用戶賬戶。通過哈希組合路由的方式可以實現將業務數據進行散列存儲，避免數據的哈希碰撞，并通過多分片并發遍歷的方式遍歷存儲的數據，可以實現快速遍歷相同業務屬性的數據，從而提升遍歷性能。

技術領域

本申請實施例涉及數據處理領域，尤其涉及一種業務數據處理方法、裝置、設備及存儲介質。

背景技術

數據遍歷是指對現有的全部數據或部分數據進行掃描，將得到的數據傳入下一個節點進行處理，現有的數據遍歷方案一般有傳統的MYSQL數據遍歷和基于內存載體的數據遍歷。

在實現本發明的過程中，發現現有技術中存在以下技術問題：在海量數據的場景下，基于傳統的MYSQL數據遍歷的方式存在性能不達標的缺陷，甚至無法實現海量數據的遍歷，例如，在單表數據量達到500萬時會出現性能急劇下降，導致無法實現全部遍歷。而基于內存載體的遍歷方式在三千萬業務數據的情況下，大概占用8GB內存空間，三十億的業務數據大概需要800GB空間，并且在硬件層面需要做備份或狀態記錄，這需要額外開銷，導致成本較高。

發明內容

為了解決上述至少一個技術問題，本申請實施例提供了以下方案。

第一方面，本申請實施例還提供了一種業務數據處理方法，該方法包括：

從原始服務器中獲取業務數據；

根據業務屬性哈希與數據組件哈希組合的方式將業務數據中符合業務條件的數據存儲至新服務器；

通過多分片并發遍歷的方式從新服務器中獲取存儲的數據；

在獲取的存儲的數據滿足發送要求的情況下，將存儲的數據發送至存儲的數據對應的用戶賬戶。

第二方面，本申請實施例還提供了一種業務數據處理裝置，該裝置包括：

獲取模塊，用于從原始服務器中獲取業務數據；

存儲模塊，用于根據業務屬性哈希與數據組件哈希組合的方式將業務數據中符合業務條件的數據存儲至新服務器；

獲取模塊，還用于通過多分片并發遍歷的方式從新服務器中獲取存儲的數據；

發送模塊，用于在獲取的存儲的數據滿足發送要求的情況下，將存儲的數據發送至存儲的數據對應的用戶賬戶。

第三方面，本申請實施例還提供了一種電子設備，包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，當處理器執行計算機程序時，實現如本申請任意實施例提供的業務數據處理方法。

第四方面，本申請實施例還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時，實現如本申請任意實施例提供的業務數據處理方法。

本申請實施例提供了一種業務數據處理方法、裝置、設備及存儲介質，該方法包括：從原始服務器中獲取業務數據；根據業務屬性哈希與數據組件哈希組合的方式將業務數據中符合業務條件的數據存儲至新服務器；通過多分片并發遍歷的方式從新服務器中獲取存儲的數據；在獲取的存儲的數據滿足發送要求的情況下，將存儲的數據發送至存儲的數據對應的用戶賬戶。通過哈希組合路由的方式可以實現將業務數據進行散列存儲，避免數據的哈希碰撞，并通過多分片并發遍歷的方式遍歷存儲的數據，可以實現快速遍歷相同業務屬性的數據，從而提升遍歷性能。

附圖說明

圖1為本申請實施例中的一種業務數據處理方法的流程圖；