[發(fā)明專利]一種數(shù)據(jù)處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201410020530.2
• 申請(qǐng)日: 2014-01-16
• 公開(kāi)（公告）號(hào): CN104794114B
• 公開(kāi)（公告）日: 2018-04-03
• 發(fā)明（設(shè)計(jì)）人: 黃曉鋒
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京國(guó)昊天誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司11315
• 代理人: 許志勇

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

分布式服務(wù)器接收流數(shù)據(jù)；并

基于自身保存的對(duì)之前接收到的前續(xù)流數(shù)據(jù)進(jìn)行第一處理得到的第一前續(xù)處理數(shù)據(jù)，對(duì)接收到的流數(shù)據(jù)進(jìn)行第一處理得到第一處理數(shù)據(jù)；

在所述第一處理數(shù)據(jù)中添加所述分布式服務(wù)器的服務(wù)器標(biāo)識(shí)，將添加了所述服務(wù)器標(biāo)識(shí)的第一處理數(shù)據(jù)發(fā)送給數(shù)據(jù)庫(kù)存儲(chǔ)；

當(dāng)所述分布式服務(wù)器重啟后，根據(jù)自身的服務(wù)器標(biāo)識(shí)，從所述數(shù)據(jù)庫(kù)中讀取攜帶所述服務(wù)器標(biāo)識(shí)的第一處理數(shù)據(jù)，并基于讀取的第一處理數(shù)據(jù)對(duì)接收到的后續(xù)流數(shù)據(jù)繼續(xù)進(jìn)行第一處理。

2.如權(quán)利要求1所述的方法，其特征在于，分布式服務(wù)器接收流數(shù)據(jù)，具體包括：

所述分布式服務(wù)器接收攜帶與所述分布式服務(wù)器對(duì)應(yīng)的第一處理維度標(biāo)識(shí)的流數(shù)據(jù)，其中，所述第一處理維度標(biāo)識(shí)是所述分布式服務(wù)器要對(duì)接收到的流數(shù)據(jù)進(jìn)行的第一處理對(duì)應(yīng)的處理維度標(biāo)識(shí)，所述第一處理維度標(biāo)識(shí)與所述分布式服務(wù)器的對(duì)應(yīng)關(guān)系是預(yù)先設(shè)定的。

3.如權(quán)利要求1所述的方法，其特征在于，對(duì)接收到的流數(shù)據(jù)進(jìn)行第一處理得到第一處理數(shù)據(jù)之后，所述方法還包括：

對(duì)所述第一處理數(shù)據(jù)進(jìn)行第二處理得到第二處理數(shù)據(jù)；并

根據(jù)所述第一處理數(shù)據(jù)中攜帶的第二處理維度標(biāo)識(shí)，在所述第二處理數(shù)據(jù)中添加所述第二處理維度標(biāo)識(shí)，將添加了所述第二處理維度標(biāo)識(shí)的第二處理數(shù)據(jù)發(fā)送給數(shù)據(jù)庫(kù)存儲(chǔ)，其中，所述第二處理維度標(biāo)識(shí)是所述第二處理對(duì)應(yīng)的處理維度標(biāo)識(shí)；

當(dāng)所述分布式服務(wù)器重啟后，基于讀取的第一處理數(shù)據(jù)對(duì)接收到的后續(xù)流數(shù)據(jù)繼續(xù)進(jìn)行第一處理之后，所述方法還包括：

根據(jù)從所述數(shù)據(jù)庫(kù)中讀取的第一處理數(shù)據(jù)中攜帶的第二處理維度標(biāo)識(shí)，從所述數(shù)據(jù)庫(kù)中讀取攜帶所述第二處理維度標(biāo)識(shí)的第二處理數(shù)據(jù)；

基于對(duì)接收到的后續(xù)流數(shù)據(jù)進(jìn)行第一處理得到的第一后續(xù)處理數(shù)據(jù)和讀取的第二處理數(shù)據(jù)，對(duì)所述第一后續(xù)處理數(shù)據(jù)繼續(xù)進(jìn)行第二處理。

4.如權(quán)利要求3所述的方法，其特征在于，對(duì)接收到的流數(shù)據(jù)進(jìn)行第一處理得到第一處理數(shù)據(jù)之后，所述方法還包括：

在所述第一處理數(shù)據(jù)中添加接收時(shí)刻信息，所述接收時(shí)刻信息為所述服務(wù)器接收到所述第一處理數(shù)據(jù)對(duì)應(yīng)的流數(shù)據(jù)的時(shí)刻信息；

從所述數(shù)據(jù)庫(kù)中讀取攜帶所述服務(wù)器標(biāo)識(shí)的第一處理數(shù)據(jù)，具體包括：

根據(jù)預(yù)先劃分的各時(shí)間段，確定當(dāng)前時(shí)刻所屬的時(shí)間段，從所述數(shù)據(jù)庫(kù)中讀取攜帶所述服務(wù)器標(biāo)識(shí)、且攜帶的接收時(shí)刻信息落入所述當(dāng)前時(shí)刻所屬的時(shí)間段內(nèi)的第一處理數(shù)據(jù)。

5.如權(quán)利要求4所述的方法，其特征在于，當(dāng)所述分布式服務(wù)器確定自身的內(nèi)存中不存在攜帶所述第二處理維度標(biāo)識(shí)的第二處理數(shù)據(jù)時(shí)，從所述數(shù)據(jù)庫(kù)中讀取攜帶所述第二處理維度標(biāo)識(shí)的第二處理數(shù)據(jù)；或者

當(dāng)所述分布式服務(wù)器接收到所述后續(xù)流數(shù)據(jù)的接收時(shí)刻所屬的時(shí)間段與重啟前接收到的流數(shù)據(jù)的接收時(shí)刻所屬的時(shí)間段相同時(shí)，從所述數(shù)據(jù)庫(kù)中讀取攜帶所述第二處理維度標(biāo)識(shí)的第二處理數(shù)據(jù)；或者

當(dāng)所述分布式服務(wù)器確定自身的內(nèi)存中不存在攜帶所述第二處理維度標(biāo)識(shí)的第二處理數(shù)據(jù)、且接收到所述后續(xù)流數(shù)據(jù)的接收時(shí)刻所屬的時(shí)間段與重啟前接收到的流數(shù)據(jù)的接收時(shí)刻所屬的時(shí)間段相同時(shí)，從所述數(shù)據(jù)庫(kù)中讀取攜帶所述第二處理維度標(biāo)識(shí)的第二處理數(shù)據(jù)。

6.一種數(shù)據(jù)處理裝置，其特征在于，包括：

接收模塊，用于接收流數(shù)據(jù)；

第一處理模塊，用于基于自身保存的對(duì)之前接收到的前續(xù)流數(shù)據(jù)進(jìn)行第一處理得到的第一前續(xù)處理數(shù)據(jù)，對(duì)接收到的流數(shù)據(jù)進(jìn)行第一處理得到第一處理數(shù)據(jù)；

第一添加模塊，用于在所述第一處理數(shù)據(jù)中添加所述裝置的服務(wù)器標(biāo)識(shí)；

發(fā)送模塊，用于將添加了所述服務(wù)器標(biāo)識(shí)的第一處理數(shù)據(jù)發(fā)送給數(shù)據(jù)庫(kù)存儲(chǔ)；

第一讀取模塊，用于當(dāng)所述裝置重啟后，根據(jù)所述裝置的服務(wù)器標(biāo)識(shí)，從所述數(shù)據(jù)庫(kù)中讀取攜帶所述服務(wù)器標(biāo)識(shí)的第一處理數(shù)據(jù)；

所述第一處理模塊還用于，基于讀取的第一處理數(shù)據(jù)對(duì)所述接收模塊接收到的后續(xù)流數(shù)據(jù)繼續(xù)進(jìn)行第一處理。

7.如權(quán)利要求6所述的裝置，其特征在于，所述接收模塊具體用于，接收攜帶與所述裝置對(duì)應(yīng)的第一處理維度標(biāo)識(shí)的流數(shù)據(jù)，其中，所述第一處理維度標(biāo)識(shí)是所述裝置要對(duì)接收到的流數(shù)據(jù)進(jìn)行的第一處理對(duì)應(yīng)的處理維度標(biāo)識(shí)，所述第一處理維度標(biāo)識(shí)與所述裝置的對(duì)應(yīng)關(guān)系是預(yù)先設(shè)定的。