[發(fā)明專利]一種數(shù)據(jù)處理的方法以及裝置

在審

• 申請?zhí)枺?/td>: 202010789270.0
• 申請日: 2020-08-07
• 公開（公告）號: CN114064667A
• 公開（公告）日: 2022-02-18
• 發(fā)明（設(shè)計(jì)）人: 劉華敏;劉伯恒;殷錫藝
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27;G06F16/21;G06F9/50
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 李娟

本申請屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，公開了一種數(shù)據(jù)處理的方法以及裝置，本申請公開的一種數(shù)據(jù)處理的方法包括，當(dāng)確定有目標(biāo)數(shù)據(jù)集合需要更新且當(dāng)前運(yùn)行的協(xié)程總數(shù)量低于預(yù)設(shè)數(shù)量閾值時，創(chuàng)建目標(biāo)協(xié)程，并調(diào)用目標(biāo)協(xié)程，以數(shù)據(jù)切片為數(shù)據(jù)更新單位，對數(shù)據(jù)庫中存儲的目標(biāo)數(shù)據(jù)集合進(jìn)行批量數(shù)據(jù)更新，以及在數(shù)據(jù)更新結(jié)束后，釋放目標(biāo)協(xié)程。這樣，采用協(xié)程進(jìn)行數(shù)據(jù)處理以及對數(shù)據(jù)庫進(jìn)行批量數(shù)據(jù)處理，降低了耗費(fèi)的系統(tǒng)資源，提高了數(shù)據(jù)處理效率以及系統(tǒng)性能。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理的方法以及裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展以及互聯(lián)網(wǎng)應(yīng)用的普及，互聯(lián)網(wǎng)服務(wù)對數(shù)據(jù)處理的效率的要求也不斷提高。

現(xiàn)有技術(shù)下，在數(shù)據(jù)拉取以及數(shù)據(jù)更新時，通常采用線程多任務(wù)并行處理的方式。

但是，線程調(diào)度時需要內(nèi)核態(tài)和用戶態(tài)的頻繁切換，性能較低，還需要耗費(fèi)大量的系統(tǒng)資源和時間，再者，對數(shù)據(jù)庫的操作頻率也較高，會進(jìn)一步耗費(fèi)大量的系統(tǒng)資源。

由此，在數(shù)據(jù)處理時，需要一個可以降低耗費(fèi)的系統(tǒng)資源，提高數(shù)據(jù)處理效率以及系統(tǒng)性能的數(shù)據(jù)處理技術(shù)方案。

發(fā)明內(nèi)容

本申請實(shí)施例提供一種數(shù)據(jù)處理的方法以及裝置，用以在進(jìn)行數(shù)據(jù)處理時，降低耗費(fèi)的系統(tǒng)資源，提高數(shù)據(jù)處理效率以及系統(tǒng)性能。

一方面，提供一種數(shù)據(jù)處理的方法，包括：

確定有目標(biāo)數(shù)據(jù)集合需要進(jìn)行數(shù)據(jù)更新時，獲取當(dāng)前運(yùn)行的協(xié)程總數(shù)量；

當(dāng)協(xié)程總數(shù)量低于預(yù)設(shè)數(shù)量閾值時，為目標(biāo)數(shù)據(jù)集合創(chuàng)建目標(biāo)協(xié)程，并將協(xié)程總數(shù)量加1，預(yù)設(shè)數(shù)量閾值是根據(jù)資源配置信息確定的；

調(diào)用目標(biāo)協(xié)程，以數(shù)據(jù)切片為數(shù)據(jù)更新單位，對數(shù)據(jù)庫中存儲的目標(biāo)數(shù)據(jù)集合進(jìn)行數(shù)據(jù)更新；

釋放目標(biāo)協(xié)程，并將協(xié)程總數(shù)量減1。

一方面，提供一種數(shù)據(jù)處理的裝置，包括：

獲取單元，用于確定有目標(biāo)數(shù)據(jù)集合需要進(jìn)行數(shù)據(jù)更新時，獲取當(dāng)前運(yùn)行的協(xié)程總數(shù)量；

創(chuàng)建單元，用于當(dāng)協(xié)程總數(shù)量低于預(yù)設(shè)數(shù)量閾值時，為目標(biāo)數(shù)據(jù)集合創(chuàng)建目標(biāo)協(xié)程，并將協(xié)程總數(shù)量加1，預(yù)設(shè)數(shù)量閾值是根據(jù)資源配置信息確定的；

更新單元，用于調(diào)用目標(biāo)協(xié)程，以數(shù)據(jù)切片為數(shù)據(jù)更新單位，對數(shù)據(jù)庫中存儲的目標(biāo)數(shù)據(jù)集合進(jìn)行數(shù)據(jù)更新；

釋放單元，用于釋放目標(biāo)協(xié)程，并將協(xié)程總數(shù)量減1。

一方面，提供一種控制設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，處理器執(zhí)行程序時執(zhí)行上述任一種數(shù)據(jù)處理的方法的步驟。

一方面，提供一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)上述任一種數(shù)據(jù)處理的方法的步驟。

一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品或計(jì)算機(jī)程序，該計(jì)算機(jī)程序產(chǎn)品或計(jì)算機(jī)程序包括計(jì)算機(jī)指令，該計(jì)算機(jī)指令存儲在計(jì)算機(jī)可讀存儲介質(zhì)中。計(jì)算機(jī)設(shè)備的處理器從計(jì)算機(jī)可讀存儲介質(zhì)讀取該計(jì)算機(jī)指令，處理器執(zhí)行該計(jì)算機(jī)指令，使得該計(jì)算機(jī)設(shè)備執(zhí)行上述任一種數(shù)據(jù)處理的各種可選實(shí)現(xiàn)方式中提供的方法。

本申請實(shí)施例提供的一種數(shù)據(jù)處理的方法以及裝置中，每當(dāng)確定有目標(biāo)數(shù)據(jù)集合需要更新，且當(dāng)前運(yùn)行的協(xié)程總數(shù)量低于預(yù)設(shè)數(shù)量閾值時，創(chuàng)建目標(biāo)協(xié)程，并調(diào)用目標(biāo)協(xié)程，以數(shù)據(jù)切片為數(shù)據(jù)更新單位，對數(shù)據(jù)庫中存儲的目標(biāo)數(shù)據(jù)集合進(jìn)行批量數(shù)據(jù)更新，以及在本次數(shù)據(jù)更新結(jié)束后，釋放目標(biāo)協(xié)程。這樣，采用協(xié)程進(jìn)行數(shù)據(jù)處理以及對數(shù)據(jù)庫進(jìn)行批量數(shù)據(jù)處理，降低了耗費(fèi)的系統(tǒng)資源，提高了數(shù)據(jù)處理效率以及系統(tǒng)性能。