[發(fā)明專利]一種數(shù)據(jù)處理方法及裝置

在審

• 申請?zhí)枺?/td>: 201910292858.2
• 申請日: 2019-04-12
• 公開（公告）號: CN111813805A
• 公開（公告）日: 2020-10-23
• 發(fā)明（設(shè)計）人: 崔廣維;王守初;馬輝;孫志彪
• 申請（專利權(quán)）人: 中國移動通信集團(tuán)河南有限公司;中國移動通信集團(tuán)有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F9/50
• 代理公司: 北京國昊天誠知識產(chǎn)權(quán)代理有限公司 11315
• 代理人: 劉昕;南霆

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

從目標(biāo)數(shù)據(jù)庫中全量讀取待處理的業(yè)務(wù)數(shù)據(jù)，并按照預(yù)設(shè)分類規(guī)則將所述業(yè)務(wù)數(shù)據(jù)存儲至多個緩存中；

根據(jù)所述業(yè)務(wù)數(shù)據(jù)的分類結(jié)果，創(chuàng)建多個數(shù)據(jù)處理任務(wù)；

將多個所述數(shù)據(jù)處理任務(wù)分配給預(yù)設(shè)數(shù)量的數(shù)據(jù)處理線程，以觸發(fā)所述數(shù)據(jù)處理線程基于所述數(shù)據(jù)處理任務(wù)對相應(yīng)的所述緩存中的業(yè)務(wù)數(shù)據(jù)進(jìn)行處理。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述按照預(yù)設(shè)分類規(guī)則將所述業(yè)務(wù)數(shù)據(jù)存儲至多個緩存中，包括：

按照用戶標(biāo)識對所述業(yè)務(wù)數(shù)據(jù)進(jìn)行分類處理，將具有相同用戶標(biāo)識的業(yè)務(wù)數(shù)據(jù)確定為待處理數(shù)據(jù)子集；

對多個所述待處理數(shù)據(jù)子集進(jìn)行分組處理，得到多組待處理數(shù)據(jù)集合；

將多組所述待處理數(shù)據(jù)集合存儲至多個緩存中。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)所述業(yè)務(wù)數(shù)據(jù)的分類結(jié)果，創(chuàng)建多個數(shù)據(jù)處理任務(wù)，包括：

針對每個所述待處理數(shù)據(jù)集合，根據(jù)該待處理數(shù)據(jù)集合所在的緩存的標(biāo)識信息和預(yù)設(shè)數(shù)據(jù)處理需求，創(chuàng)建數(shù)據(jù)處理任務(wù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將多個所述數(shù)據(jù)處理任務(wù)分配給預(yù)設(shè)數(shù)量的數(shù)據(jù)處理線程，包括：

觸發(fā)任務(wù)調(diào)度器在數(shù)據(jù)處理線程池中，選取處于空閑狀態(tài)的多個數(shù)據(jù)處理線程；

在多個所述數(shù)據(jù)處理任務(wù)中選取未處理的數(shù)據(jù)處理任務(wù)分配給所述多個數(shù)據(jù)處理線程。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)處理任務(wù)包括：緩存標(biāo)識信息和預(yù)設(shè)數(shù)據(jù)處理需求；

所述觸發(fā)所述數(shù)據(jù)處理線程基于所述數(shù)據(jù)處理任務(wù)對相應(yīng)的所述緩存中的業(yè)務(wù)數(shù)據(jù)進(jìn)行處理，包括：

觸發(fā)所述數(shù)據(jù)處理線程從與所述緩存標(biāo)識信息對應(yīng)的緩存中讀取待處理數(shù)據(jù)集合，并基于所述預(yù)設(shè)數(shù)據(jù)處理需求對所述待處理數(shù)據(jù)集合進(jìn)行并發(fā)處理。

6.根據(jù)權(quán)利要求1至5任一項所述的方法，其特征在于，還包括：

將所述數(shù)據(jù)處理線程針對所述緩存中的業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)處理結(jié)果寫入所述目標(biāo)數(shù)據(jù)庫中。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述將所述數(shù)據(jù)處理線程針對所述緩存中的業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)處理結(jié)果寫入所述目標(biāo)數(shù)據(jù)庫中，包括：

將各所述數(shù)據(jù)處理線程針對所述緩存中的業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)處理結(jié)果存入預(yù)設(shè)數(shù)據(jù)暫存池；

判斷所述預(yù)設(shè)數(shù)據(jù)暫存池中數(shù)據(jù)處理結(jié)果的數(shù)量是否大于預(yù)設(shè)閾值；

若是，則調(diào)用數(shù)據(jù)結(jié)果寫入線程將所述預(yù)設(shè)數(shù)據(jù)暫存池中的多個所述數(shù)據(jù)處理結(jié)果寫入所述目標(biāo)數(shù)據(jù)庫中，并刪除所述預(yù)設(shè)數(shù)據(jù)暫存池中的多個所述數(shù)據(jù)處理結(jié)果。

8.一種數(shù)據(jù)處理裝置，其特征在于，包括：

業(yè)務(wù)數(shù)據(jù)讀取模塊，用于從目標(biāo)數(shù)據(jù)庫中全量讀取待處理的業(yè)務(wù)數(shù)據(jù)，并按照預(yù)設(shè)分類規(guī)則將所述業(yè)務(wù)數(shù)據(jù)存儲至多個緩存中；

處理任務(wù)創(chuàng)建模塊，用于根據(jù)所述業(yè)務(wù)數(shù)據(jù)的分類結(jié)果，創(chuàng)建多個數(shù)據(jù)處理任務(wù)；

數(shù)據(jù)處理觸發(fā)模塊，用于將多個所述數(shù)據(jù)處理任務(wù)分配給預(yù)設(shè)數(shù)量的數(shù)據(jù)處理線程，以觸發(fā)所述數(shù)據(jù)處理線程基于所述數(shù)據(jù)處理任務(wù)對相應(yīng)的所述緩存中的業(yè)務(wù)數(shù)據(jù)進(jìn)行處理。

9.一種計算機(jī)設(shè)備，其特征在于，包括處理器、通信接口、存儲器和通信總線；其中，所述處理器、所述通信接口以及所述存儲器通過總線完成相互間的通信；所述存儲器，用于存放計算機(jī)程序；所述處理器，用于執(zhí)行所述存儲器上所存放的程序，實現(xiàn)權(quán)利要求1-7任一所述的方法步驟。

10.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-7任一項所述的方法步驟。