[發(fā)明專利]大數(shù)據(jù)加載系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201310359675.0
• 申請(qǐng)日: 2013-08-16
• 公開（公告）號(hào): CN103440290A
• 公開（公告）日: 2013-12-11
• 發(fā)明（設(shè)計(jì)）人: 狄靜舒;王穎;宋懷明;苗艷超;劉新春;邵宗有
• 申請(qǐng)（專利權(quán)）人: 曙光信息產(chǎn)業(yè)股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京新知遠(yuǎn)方知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11397
• 代理人: 張艷

1.一種大數(shù)據(jù)加載系統(tǒng)，其包括：

客戶端，用于接收用戶數(shù)據(jù)；

數(shù)據(jù)存儲(chǔ)系統(tǒng)，用于存儲(chǔ)所述用戶數(shù)據(jù)；

元數(shù)據(jù)庫，用于存儲(chǔ)所述用戶數(shù)據(jù)的管理信息，其中所述管理信息包括數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)屬性和數(shù)據(jù)存儲(chǔ)位置；

其特征在于

還包括加載服務(wù)器，其與客戶端建立連接以從客戶端接收用戶數(shù)據(jù)，并根據(jù)數(shù)據(jù)存儲(chǔ)系統(tǒng)的狀態(tài)信息和元數(shù)據(jù)庫的管理信息，將所述用戶數(shù)據(jù)加載至所述數(shù)據(jù)存儲(chǔ)系統(tǒng)。

2.如權(quán)利要求1所述的大數(shù)據(jù)加載系統(tǒng)，其特征在于，還包括負(fù)載均衡裝置，用于基于所述加載服務(wù)器的負(fù)載情況均衡所述加載服務(wù)器與所述客戶端的連接。

3.如權(quán)利要求1或2所述的大數(shù)據(jù)加載系統(tǒng)，其特征在于，所述數(shù)據(jù)存儲(chǔ)系統(tǒng)包括用于存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)子系統(tǒng)、用于存儲(chǔ)半結(jié)構(gòu)化數(shù)據(jù)的半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)子系統(tǒng)以及用于存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)子系統(tǒng)。

4.如權(quán)利要求3所述的大數(shù)據(jù)加載系統(tǒng)，其特征在于，所述加載服務(wù)器將所述用戶數(shù)據(jù)加載至所述數(shù)據(jù)存儲(chǔ)系統(tǒng)具體為：加載服務(wù)器依據(jù)所述用戶數(shù)據(jù)的屬性進(jìn)行數(shù)據(jù)劃分并將其加載至數(shù)據(jù)存儲(chǔ)系統(tǒng)相應(yīng)的存儲(chǔ)子系統(tǒng)。

5.如權(quán)利要求4所述的大數(shù)據(jù)加載系統(tǒng)，其特征在于，所述數(shù)據(jù)劃分是將所述加載服務(wù)器接收到的數(shù)據(jù)劃分為適合于結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的多個(gè)數(shù)據(jù)列，所述多個(gè)數(shù)據(jù)列按照分區(qū)策略存儲(chǔ)于緩存組中，緩存組中的每個(gè)緩存存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)或半結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)的獨(dú)立分區(qū)數(shù)據(jù)，并且所述數(shù)據(jù)分發(fā)是所述緩存組的數(shù)據(jù)并行地寫入到所述數(shù)據(jù)存儲(chǔ)系統(tǒng)的各個(gè)存儲(chǔ)子系統(tǒng)中，并進(jìn)一步地寫入到各個(gè)存儲(chǔ)子系統(tǒng)的相應(yīng)分區(qū)中。

6.如權(quán)利要求1或2所述的大數(shù)據(jù)加載系統(tǒng)，其特征在于，還包括狀態(tài)信息監(jiān)測(cè)模塊，用于監(jiān)測(cè)數(shù)據(jù)存儲(chǔ)系統(tǒng)和元數(shù)據(jù)庫的狀態(tài)。

7.如權(quán)利要求6所述的大數(shù)據(jù)加載系統(tǒng)，其特征在于，還包括狀態(tài)信息同步模塊，用于從狀態(tài)信息監(jiān)測(cè)模塊周期性地讀取數(shù)據(jù)存儲(chǔ)系統(tǒng)和元數(shù)據(jù)庫的狀態(tài)信息，并發(fā)送給加載服務(wù)器。

8.如權(quán)利要求7所述的大數(shù)據(jù)加載系統(tǒng)，其特征在于，所述狀態(tài)信息同步模塊還記錄加載服務(wù)器的運(yùn)行日志和數(shù)據(jù)存儲(chǔ)過程日志。

9.一種大數(shù)據(jù)加載方法，其特征在于包括步驟：

客戶端接收用戶數(shù)據(jù)；

加載服務(wù)器從客戶端接收用戶數(shù)據(jù)，并根據(jù)數(shù)據(jù)存儲(chǔ)系統(tǒng)的狀態(tài)信息和元數(shù)據(jù)庫的管理信息，將所述用戶數(shù)據(jù)加載至所述數(shù)據(jù)存儲(chǔ)系統(tǒng)；

其中所述元數(shù)據(jù)庫存儲(chǔ)所述用戶數(shù)據(jù)的管理信息，所述管理信息包括數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)屬性和數(shù)據(jù)存儲(chǔ)位置。

10.如權(quán)利要求9所述的大數(shù)據(jù)加載方法，其特征在于，所述加載服務(wù)器與所述客戶端的連接由負(fù)載均衡裝置基于所述加載服務(wù)器的負(fù)載情況進(jìn)行均衡。

11.如權(quán)利要求10所述的大數(shù)據(jù)加載方法，其特征在于，所述均衡具體為：首先，啟動(dòng)數(shù)據(jù)加載服務(wù)后在負(fù)載均衡器上注冊(cè)；然后，客戶端向負(fù)載均衡器發(fā)出數(shù)據(jù)加載請(qǐng)求；最后，負(fù)載均衡器動(dòng)態(tài)分配加載服務(wù)器給客戶端，兩者之間建立連接。

12.如權(quán)利要求9所述的大數(shù)據(jù)加載方法，其特征在于，所述加載服務(wù)器周期性地獲取數(shù)據(jù)存儲(chǔ)系統(tǒng)和元數(shù)據(jù)庫的狀態(tài)信息，并根據(jù)數(shù)據(jù)存儲(chǔ)系統(tǒng)的狀態(tài)和數(shù)據(jù)屬性將數(shù)據(jù)拆分并存儲(chǔ)至各個(gè)存儲(chǔ)系統(tǒng)子系統(tǒng)的不同分區(qū)中。

13.如權(quán)利要求9所述的大數(shù)據(jù)加載方法，其特征在于，所述加載服務(wù)器以同步或異步方式將所述用戶數(shù)據(jù)加載至所述數(shù)據(jù)存儲(chǔ)系統(tǒng)。

14.如權(quán)利要求9至13中任一所述的大數(shù)據(jù)加載方法，其特征在于，所述加載服務(wù)器將所述用戶數(shù)據(jù)加載至所述數(shù)據(jù)存儲(chǔ)系統(tǒng)具體為：加載服務(wù)器依據(jù)所述用戶數(shù)據(jù)的屬性進(jìn)行數(shù)據(jù)劃分并將其加載至數(shù)據(jù)存儲(chǔ)系統(tǒng)相應(yīng)的存儲(chǔ)子系統(tǒng)。

15.如權(quán)利要求14所述的大數(shù)據(jù)加載方法，其特征在于，所述數(shù)據(jù)劃分是將所述加載服務(wù)器接收到的數(shù)據(jù)劃分為適合于結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的存儲(chǔ)于多個(gè)緩存組中的多個(gè)數(shù)據(jù)列組，并且所述數(shù)據(jù)分發(fā)是所述緩存數(shù)據(jù)組中的數(shù)據(jù)并行地寫入到所述數(shù)據(jù)存儲(chǔ)系統(tǒng)的各個(gè)存儲(chǔ)子系統(tǒng)相應(yīng)的分區(qū)中。