[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置及設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710940348.2
• 申請(qǐng)日: 2017-09-30
• 公開(kāi)（公告）號(hào): CN110019358B
• 公開(kāi)（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 師晨;胡亦清
• 申請(qǐng)（專利權(quán)）人: 北京搜狗科技發(fā)展有限公司
• 主分類號(hào): G06F16/2455
• 分類號(hào): G06F16/2455
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 劉曉菲;王寶筠

本申請(qǐng)實(shí)施例公開(kāi)了一種數(shù)據(jù)處理方法、裝置及設(shè)備和存儲(chǔ)介質(zhì)，實(shí)現(xiàn)提高數(shù)據(jù)處理效率的目的。其中，所述方法包括：獲取待處理數(shù)據(jù)集和所述待處理數(shù)據(jù)集對(duì)應(yīng)的配額，所述待處理數(shù)據(jù)集至少包括兩個(gè)，且至少兩個(gè)所述待處理數(shù)據(jù)集對(duì)應(yīng)的配額不同；基于所述待處理數(shù)據(jù)集對(duì)應(yīng)的配額，從所述待處理數(shù)據(jù)集中選擇目標(biāo)數(shù)據(jù)；將所述目標(biāo)數(shù)據(jù)存放到第一緩存池中，以對(duì)所述目標(biāo)數(shù)據(jù)進(jìn)行處理。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置及設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

在計(jì)算機(jī)的世界里，離不開(kāi)對(duì)數(shù)據(jù)的處理。傳統(tǒng)的數(shù)據(jù)處理模塊直接從存儲(chǔ)數(shù)據(jù)的磁盤(pán)中進(jìn)行數(shù)據(jù)讀取，由于從磁盤(pán)或數(shù)據(jù)庫(kù)中進(jìn)行數(shù)據(jù)讀取速度較慢，所以相關(guān)技術(shù)采用緩存的方式來(lái)存儲(chǔ)待處理數(shù)據(jù)，即預(yù)先將磁盤(pán)或數(shù)據(jù)庫(kù)中的數(shù)據(jù)讀取到緩存中，當(dāng)需要待處理數(shù)據(jù)時(shí)，直接從緩存中讀取待處理數(shù)據(jù)進(jìn)行處理。由于從緩存中讀取待處理數(shù)據(jù)的速度比從磁盤(pán)或數(shù)據(jù)庫(kù)中讀取的速度快，所以能夠節(jié)約待處理數(shù)據(jù)的讀取時(shí)間。

然而發(fā)明人在實(shí)現(xiàn)本發(fā)明的過(guò)程中發(fā)現(xiàn)，對(duì)于優(yōu)先級(jí)別不同的待處理數(shù)據(jù)，需要根據(jù)數(shù)據(jù)的優(yōu)先級(jí)別分別進(jìn)行相應(yīng)的處理，例如需要在緩存階段分析待處理數(shù)據(jù)的優(yōu)先級(jí)別，根據(jù)優(yōu)先級(jí)別確定其相應(yīng)的緩存區(qū)域，然后再根據(jù)緩存區(qū)域的優(yōu)先級(jí)別進(jìn)行數(shù)據(jù)處理，從而大大降低了數(shù)據(jù)處理效率。

發(fā)明內(nèi)容

為了解決上述技術(shù)問(wèn)題，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)處理方法、裝置及設(shè)備和存儲(chǔ)介質(zhì)，實(shí)現(xiàn)了提高數(shù)據(jù)處理效率的目的。

本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)處理方法，所述方法包括：

獲取待處理數(shù)據(jù)集和所述待處理數(shù)據(jù)集對(duì)應(yīng)的配額，所述待處理數(shù)據(jù)集至少包括兩個(gè)，且至少兩個(gè)所述待處理數(shù)據(jù)集對(duì)應(yīng)的配額不同；

基于所述待處理數(shù)據(jù)集對(duì)應(yīng)的配額，從所述待處理數(shù)據(jù)集中選擇目標(biāo)數(shù)據(jù)；

將所述目標(biāo)數(shù)據(jù)存放到第一緩存池中，以對(duì)所述目標(biāo)數(shù)據(jù)進(jìn)行處理。

可選的，所述基于所述待處理數(shù)據(jù)集對(duì)應(yīng)的配額，從所述待處理數(shù)據(jù)集中選擇目標(biāo)數(shù)據(jù)包括：

計(jì)算所述待處理數(shù)據(jù)集對(duì)應(yīng)的配額的最大公約數(shù)；

根據(jù)所述待處理數(shù)據(jù)集對(duì)應(yīng)的配額和所述最大公約數(shù)，計(jì)算從所述待處理數(shù)據(jù)集中選取的目標(biāo)數(shù)據(jù)的數(shù)量；

按照計(jì)算得到的所述目標(biāo)數(shù)據(jù)的數(shù)量從所述待處理數(shù)據(jù)集中選取所述目標(biāo)數(shù)據(jù)。

可選的，所述方法還包括：當(dāng)所述待處理數(shù)據(jù)集中不存在數(shù)據(jù)時(shí)，將所述待處理數(shù)據(jù)集刪除。

可選的，所述基于所述待處理數(shù)據(jù)集對(duì)應(yīng)的配額，從所述待處理數(shù)據(jù)集中選擇目標(biāo)數(shù)據(jù)包括：

若所述第一緩存池存放的所述目標(biāo)數(shù)據(jù)的數(shù)量少于或等于預(yù)設(shè)閾值，則基于所述待處理數(shù)據(jù)集對(duì)應(yīng)的配額，從所述待處理數(shù)據(jù)集中選擇所述目標(biāo)數(shù)據(jù)。

可選的，所述方法還包括：

將所述待處理數(shù)據(jù)集和所述待處理數(shù)據(jù)集對(duì)應(yīng)的配額存儲(chǔ)在第二緩存池中，所述第二緩存池包括第二值和分?jǐn)?shù)，其中所述第二值存儲(chǔ)所述待處理數(shù)據(jù)集，所述分?jǐn)?shù)存儲(chǔ)所述待處理數(shù)據(jù)集對(duì)應(yīng)的配額。

可選的，所述基于所述待處理數(shù)據(jù)集對(duì)應(yīng)的配額，從所述待處理數(shù)據(jù)集中選擇目標(biāo)數(shù)據(jù)包括：

基于所述第二緩存池中的分?jǐn)?shù)，從所述第二值存儲(chǔ)的所述待處理數(shù)據(jù)集中選擇所述目標(biāo)數(shù)據(jù)。

可選的，所述獲取待處理數(shù)據(jù)集和所述待處理數(shù)據(jù)集對(duì)應(yīng)的配額包括：

獲取第一原始文件和所述第一原始文件的配置文件，所述第一原始文件中存儲(chǔ)有多個(gè)待處理數(shù)據(jù)，所述配置文件中存儲(chǔ)有所述多個(gè)待處理數(shù)據(jù)對(duì)應(yīng)的配額；

根據(jù)所述多個(gè)待處理數(shù)據(jù)對(duì)應(yīng)的配額，確定待處理數(shù)據(jù)集和所述待處理數(shù)據(jù)集對(duì)應(yīng)的配額。