[發(fā)明專利]數(shù)據(jù)處理方法、計(jì)算設(shè)備、存儲(chǔ)設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811252823.8
• 申請(qǐng)日: 2018-10-25
• 公開（公告）號(hào): CN109597832B
• 公開（公告）日: 2023-05-23
• 發(fā)明（設(shè)計(jì)）人: 鐘文琴
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06F16/2457
• 分類號(hào): G06F16/2457
• 代理公司: 深圳市沃德知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44347
• 代理人: 高杰;于志光

本發(fā)明涉及一種大數(shù)據(jù)技術(shù)，揭露了一種數(shù)據(jù)處理方法、計(jì)算設(shè)備、存儲(chǔ)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。本發(fā)明計(jì)算設(shè)備發(fā)送多筆第一數(shù)據(jù)至第一存儲(chǔ)設(shè)備，供第一存儲(chǔ)設(shè)備對(duì)第一數(shù)據(jù)進(jìn)行分組，得到若干個(gè)第一數(shù)據(jù)隊(duì)列；在第一存儲(chǔ)設(shè)備中查詢所有滿足預(yù)設(shè)查詢條件的第一數(shù)據(jù)隊(duì)列，當(dāng)查詢到時(shí)，將查詢到的所有第一數(shù)據(jù)隊(duì)列進(jìn)行分組，以得到若干個(gè)第一分組，對(duì)各個(gè)第一分組進(jìn)行數(shù)據(jù)處理，得到各個(gè)第一分組對(duì)應(yīng)的第二數(shù)據(jù)，并將各筆第二數(shù)據(jù)存儲(chǔ)至第一存儲(chǔ)設(shè)備；將各筆第二數(shù)據(jù)進(jìn)行分組，得到若干個(gè)第二分組，對(duì)各個(gè)第二分組進(jìn)行數(shù)據(jù)處理，得到各個(gè)第二分組對(duì)應(yīng)的第三數(shù)據(jù)，并將各筆第三數(shù)據(jù)存儲(chǔ)至第二存儲(chǔ)設(shè)備。本發(fā)明提高了計(jì)算設(shè)備的數(shù)據(jù)處理效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)處理方法、計(jì)算設(shè)備、存儲(chǔ)設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

計(jì)算設(shè)備在處理各類系統(tǒng)產(chǎn)生的大量數(shù)據(jù)時(shí)，通常需要將一數(shù)據(jù)處理步驟中產(chǎn)生的中間結(jié)果數(shù)據(jù)暫存至存儲(chǔ)設(shè)備中，并在后續(xù)的數(shù)據(jù)處理步驟中從該存儲(chǔ)設(shè)備中讀取該中間結(jié)果數(shù)據(jù)進(jìn)行進(jìn)一步數(shù)據(jù)處理操作。在此過程中，存儲(chǔ)設(shè)備和計(jì)算設(shè)備之間通常會(huì)產(chǎn)生大量的讀寫操作。而計(jì)算設(shè)備在讀取存儲(chǔ)設(shè)備中的數(shù)據(jù)時(shí)，一般采取的是輪詢的方式查詢待讀取的數(shù)據(jù)，當(dāng)存儲(chǔ)設(shè)備存儲(chǔ)的數(shù)據(jù)過多且數(shù)據(jù)重復(fù)無序時(shí)，計(jì)算設(shè)備從存儲(chǔ)設(shè)備中查詢及讀取數(shù)據(jù)的速度非常緩慢，從而導(dǎo)致計(jì)算設(shè)備處理數(shù)據(jù)的效率低下。

因此，如何提高計(jì)算設(shè)備的數(shù)據(jù)處理效率已經(jīng)成為一個(gè)亟待解決的技術(shù)問題。

發(fā)明內(nèi)容

鑒于以上內(nèi)容，本發(fā)明的主要目的是提供一種數(shù)據(jù)處理方法、計(jì)算設(shè)備、存儲(chǔ)設(shè)備以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，旨在提高數(shù)據(jù)處理效率的問題。

首先，為實(shí)現(xiàn)上述目的，本發(fā)明提出一種數(shù)據(jù)處理方法，應(yīng)用于計(jì)算設(shè)備，該方法包括：

發(fā)送步驟：發(fā)送多筆第一數(shù)據(jù)至第一存儲(chǔ)設(shè)備，供第一存儲(chǔ)設(shè)備對(duì)所述多筆第一數(shù)據(jù)進(jìn)行分組，得到若干個(gè)第一數(shù)據(jù)隊(duì)列；

查詢步驟：在第一存儲(chǔ)設(shè)備中查詢所有滿足預(yù)設(shè)查詢條件的第一數(shù)據(jù)隊(duì)列，當(dāng)查詢到時(shí)，轉(zhuǎn)入第一處理步驟；

第一處理步驟：將查詢到的所有第一數(shù)據(jù)隊(duì)列進(jìn)行分組，以得到若干個(gè)第一分組，對(duì)各個(gè)所述第一分組進(jìn)行數(shù)據(jù)處理，得到各個(gè)所述第一分組對(duì)應(yīng)的第二數(shù)據(jù)，并將各筆第二數(shù)據(jù)存儲(chǔ)至第一存儲(chǔ)設(shè)備；

第二處理步驟：將各筆第二數(shù)據(jù)進(jìn)行分組，得到若干個(gè)第二分組，對(duì)各個(gè)所述第二分組進(jìn)行數(shù)據(jù)處理，得到各個(gè)所述第二分組對(duì)應(yīng)的第三數(shù)據(jù)，并將各筆第三數(shù)據(jù)存儲(chǔ)至第二存儲(chǔ)設(shè)備。

優(yōu)選地，各個(gè)所述第一數(shù)據(jù)隊(duì)列預(yù)先設(shè)置有第一時(shí)間標(biāo)識(shí)信息，所述預(yù)設(shè)查詢條件包括第一數(shù)據(jù)隊(duì)列的第一時(shí)間標(biāo)識(shí)信息對(duì)應(yīng)的時(shí)間值位于預(yù)先確定的第一時(shí)間區(qū)間中。

優(yōu)選地，所述第一處理步驟包括：

設(shè)置多個(gè)第二時(shí)間區(qū)間，并確定各個(gè)所述第一數(shù)據(jù)隊(duì)列的第一時(shí)間標(biāo)識(shí)信息對(duì)應(yīng)的時(shí)間值所屬的第二時(shí)間區(qū)間；

根據(jù)預(yù)先確定的第一分組規(guī)則，將查詢到的所有第一數(shù)據(jù)隊(duì)列進(jìn)行分組，以得到若干個(gè)第一分組，所述預(yù)先確定的第一分組規(guī)則包括：將第一時(shí)間標(biāo)識(shí)信息對(duì)應(yīng)的時(shí)間值同屬于一個(gè)第二時(shí)間區(qū)間的第一數(shù)據(jù)隊(duì)列劃分至同一第一分組；

對(duì)各個(gè)第一分組進(jìn)行數(shù)據(jù)處理，得到各個(gè)所述第一分組對(duì)應(yīng)的第二數(shù)據(jù)，并分別為各筆第二數(shù)據(jù)設(shè)置對(duì)應(yīng)的第二時(shí)間標(biāo)識(shí)信息。

優(yōu)選地，所述第二處理步驟包括：

設(shè)置多個(gè)第三時(shí)間區(qū)間，并確定各筆第二數(shù)據(jù)的第二時(shí)間標(biāo)識(shí)信息對(duì)應(yīng)的時(shí)間值所屬的第三時(shí)間區(qū)間；

根據(jù)預(yù)先確定的第二分組規(guī)則，將所述第二數(shù)據(jù)進(jìn)行分組，以得到若干個(gè)第二分組，所述預(yù)先確定的第二分組規(guī)則包括：將第二時(shí)間標(biāo)識(shí)信息對(duì)應(yīng)的時(shí)間值同屬于一個(gè)第三時(shí)間區(qū)間的第二數(shù)據(jù)劃分至同一第二分組；