[發(fā)明專利]一種大數(shù)據(jù)的處理方法、系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410182903.6
• 申請日: 2014-04-30
• 公開（公告）號: CN103942330B
• 公開（公告）日: 2018-05-01
• 發(fā)明（設(shè)計(jì)）人: 范小朋;沈慧;楊鑫;趙東輝;須成忠
• 申請（專利權(quán)）人: 深圳先進(jìn)技術(shù)研究院
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳中一專利商標(biāo)事務(wù)所44237
• 代理人: 張全文

1.一種大數(shù)據(jù)的處理方法，其特征在于，所述方法包括：

實(shí)時處理系統(tǒng)解析預(yù)置的配置文件，獲取異構(gòu)數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)信息；

實(shí)時處理系統(tǒng)發(fā)送所述異構(gòu)數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)信息至批處理系統(tǒng)，以由所述批處理系統(tǒng)根據(jù)所述異構(gòu)數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)信息建立元數(shù)據(jù)表；

實(shí)時處理系統(tǒng)接收源數(shù)據(jù)流，對所述源數(shù)據(jù)流進(jìn)行實(shí)時處理；

實(shí)時處理系統(tǒng)寫入實(shí)時處理結(jié)果至實(shí)時處理系統(tǒng)的數(shù)據(jù)庫中；

實(shí)時處理系統(tǒng)發(fā)送實(shí)時處理結(jié)果至批處理系統(tǒng)，以由批處理系統(tǒng)將所述實(shí)時處理結(jié)果中包括的數(shù)據(jù)進(jìn)行分塊，存儲在元數(shù)據(jù)表中；

當(dāng)滿足指定條件時，實(shí)時處理系統(tǒng)推送批處理作業(yè)指令至批處理系統(tǒng)；

批處理系統(tǒng)接收所述批處理作業(yè)指令；

批處理系統(tǒng)根據(jù)所述批處理作業(yè)指令執(zhí)行相應(yīng)的批處理任務(wù)，并展示作業(yè)結(jié)果。

2.如權(quán)利要求1所述的方法，其特征在于，所述實(shí)時處理系統(tǒng)發(fā)送實(shí)時處理結(jié)果至批處理系統(tǒng)，由批處理系統(tǒng)將所述實(shí)時處理結(jié)果存儲在元數(shù)據(jù)表中包括：

實(shí)時處理系統(tǒng)設(shè)置定時器；

實(shí)時處理系統(tǒng)建立和批處理系統(tǒng)的套接字通信；

實(shí)時處理系統(tǒng)根據(jù)所述定時器設(shè)置的周期，周期性地將所述實(shí)時處理結(jié)果發(fā)送至批處理系統(tǒng)。

3.一種實(shí)時處理系統(tǒng)，其特征在于，所述實(shí)時處理系統(tǒng)包括：

數(shù)據(jù)結(jié)構(gòu)信息獲取單元，用于解析預(yù)置的配置文件，獲取異構(gòu)數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)信息；

數(shù)據(jù)結(jié)構(gòu)信息發(fā)送單元，用于發(fā)送所述異構(gòu)數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)信息至批處理系統(tǒng)，以由所述批處理系統(tǒng)根據(jù)所述異構(gòu)數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)信息建立元數(shù)據(jù)表；

實(shí)時處理單元，用于接收源數(shù)據(jù)流，對所述源數(shù)據(jù)流進(jìn)行實(shí)時處理；

第一實(shí)時結(jié)果存儲單元，用于寫入實(shí)時處理結(jié)果至實(shí)時處理系統(tǒng)的數(shù)據(jù)庫中；

實(shí)時結(jié)果發(fā)送單元，用于發(fā)送實(shí)時處理結(jié)果至批處理系統(tǒng)，以由批處理系統(tǒng)將所述實(shí)時處理結(jié)果中包括的數(shù)據(jù)進(jìn)行分塊，存儲在元數(shù)據(jù)表中；

批處理作業(yè)指令推送單元，用于當(dāng)滿足指定條件時，推送批處理作業(yè)指令至批處理系統(tǒng)，以由批處理系統(tǒng)接收所述批處理作業(yè)指令，再根據(jù)接收到的批處理作業(yè)指令執(zhí)行相應(yīng)的批處理任務(wù)，并展示作業(yè)結(jié)果。

4.如權(quán)利要求3所述的實(shí)時處理系統(tǒng)，其特征在于，所述實(shí)時結(jié)果發(fā)送單元包括：

定時器設(shè)置模塊，用于設(shè)置定時器；

通信建立模塊，用于建立和批處理系統(tǒng)的套接字通信；

實(shí)時結(jié)果發(fā)送模塊，用于根據(jù)所述定時器設(shè)置的周期，周期性地發(fā)送所述實(shí)時處理結(jié)果至批處理系統(tǒng)。

5.一種批處理系統(tǒng)，其特征在于，所述批處理系統(tǒng)包括：

數(shù)據(jù)結(jié)構(gòu)信息接收單元，用于接收實(shí)時處理系統(tǒng)發(fā)送的異構(gòu)數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)信息；

元數(shù)據(jù)表建立單元，用于根據(jù)所述異構(gòu)數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)信息建立元數(shù)據(jù)表；

實(shí)時結(jié)果接收單元，用于接收實(shí)時處理系統(tǒng)發(fā)送的實(shí)時處理結(jié)果；

第二實(shí)時結(jié)果存儲單元，用于將所述實(shí)時處理結(jié)果中包括的數(shù)據(jù)進(jìn)行分塊，存儲在元數(shù)據(jù)表中；

批處理作業(yè)指令接收單元，用于當(dāng)滿足指定條件時，接收實(shí)時處理系統(tǒng)推送的批處理作業(yè)指令；

批處理執(zhí)行單元，用于根據(jù)所述批處理作業(yè)指令執(zhí)行相應(yīng)的批處理任務(wù)，并展示作業(yè)結(jié)果。

6.如權(quán)利要求5所述的批處理系統(tǒng)，其特征在于，所述第二實(shí)時結(jié)果存儲單元周期性地將所述實(shí)時處理結(jié)果通過復(fù)制方式加載至批處理系統(tǒng)的數(shù)據(jù)庫中。

7.一種大數(shù)據(jù)的處理系統(tǒng)，其特征在于，所述系統(tǒng)包括實(shí)時數(shù)據(jù)查詢客戶端、如權(quán)利要求3或4所述的實(shí)時處理系統(tǒng)、批處理查詢客戶端和如權(quán)利要求5或6所述的批處理系統(tǒng)，所述實(shí)時數(shù)據(jù)查詢客戶端與所述實(shí)時處理系統(tǒng)連接，所述實(shí)時處理系統(tǒng)與所述批處理系統(tǒng)連接，所述批處理系統(tǒng)與所述批處理查詢客戶端連接。