[發明專利]一種數據處理方法及裝置

在審

• 申請號: 201910292858.2
• 申請日: 2019-04-12
• 公開（公告）號: CN111813805A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 崔廣維;王守初;馬輝;孫志彪
• 申請（專利權）人: 中國移動通信集團河南有限公司;中國移動通信集團有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F9/50
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 劉昕;南霆

本發明實施例提供了一種數據處理方法及裝置，從目標數據庫中全量讀取待處理的業務數據，并按照預設分類規則將業務數據存儲至多個緩存中；根據業務數據的分類結果，創建多個數據處理任務；將多個數據處理任務分配給預設數量的數據處理線程，以觸發數據處理線程基于數據處理任務對相應的緩存中的業務數據進行處理。通過預先批量的從數據庫中讀取待處理的業務數據，并將讀取的數據全量加載到多個緩存中進行分類整理，程序運行中，采用多個處理線程從多個緩存中取出待處理的業務數據進行處理，這樣并行執行的多個處理線程直接對接多個緩存，從而處理線程數量的增加不會對數據庫造成壓力，實現了高并發、高擴展、大大提高了數據處理的運行效率。

技術領域

本發明涉及移動通信技術領域，尤其涉及一種數據處理方法及裝置。

背景技術

移動互聯網時代，中國移動成為移動互聯網產業鏈的一環，面對用戶量的增長和業務的發展，數據量也在快速增長，對業務支撐系統中批量處理的操作的處理性能提出了新的挑戰。

現有技術主要依賴數據庫的性能，使用數據庫DML語言對千萬級別的數據進行操作，對使用的數據庫及主機性能要求就很高，目前使用的oracle數據庫，成本很高，擴展難度大，大批量并發操作時，爭搶資源現象嚴重，導致各模塊運行效率都很低。

由此可知，從數據庫查詢數據，進行計算生成計算結果，保存到數據庫。這種處理模式為了提高處理性能，增加并行，最終導致對數據庫的壓力增大，運行效率低。

發明內容

本發明實施例的目的是提供一種數據處理方法及裝置，以解決現有數據處理模式為了提高處理性能，增加并行，最終導致對數據庫的壓力增大，運行效率低的問題。

為了解決上述技術問題，本發明實施例是這樣實現的：

第一方面，本發明實施例提供了一種數據處理方法，包括：

從目標數據庫中全量讀取待處理的業務數據，并按照預設分類規則將所述業務數據存儲至多個緩存中；

根據所述業務數據的分類結果，創建多個數據處理任務；

將多個所述數據處理任務分配給預設數量的數據處理線程，以觸發所述數據處理線程基于所述數據處理任務對相應的所述緩存中的業務數據進行處理。

第二方面，本發明實施例提供了一種數據處理裝置，包括：

業務數據讀取模塊，用于從目標數據庫中全量讀取待處理的業務數據，并按照預設分類規則將所述業務數據存儲至多個緩存中；

處理任務創建模塊，用于根據所述業務數據的分類結果，創建多個數據處理任務；

數據處理觸發模塊，用于將多個所述數據處理任務分配給預設數量的數據處理線程，以觸發所述數據處理線程基于所述數據處理任務對相應的所述緩存中的業務數據進行處理。

第三方面，本發明實施例提供了一種計算機設備，包括處理器、通信接口、存儲器和通信總線；其中，所述處理器、所述通信接口以及所述存儲器通過總線完成相互間的通信；所述存儲器，用于存放計算機程序；所述處理器，用于執行所述存儲器上所存放的程序，實現如第一方面所述的數據處理方法的步驟。

第四方面，本發明實施例提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時，實現如第一方面所述的數據處理方法的步驟。