[發(fā)明專利]一種物聯(lián)網(wǎng)海量數(shù)據(jù)存儲(chǔ)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201210461075.0
• 申請(qǐng)日: 2012-11-15
• 公開（公告）號(hào): CN103023970A
• 公開（公告）日: 2013-04-03
• 發(fā)明（設(shè)計(jì)）人: 李廷力;田野;杜源峰;劉陽(yáng)
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;G06F17/30
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11200
• 代理人: 余長(zhǎng)江

1.一種物聯(lián)網(wǎng)海量數(shù)據(jù)存儲(chǔ)方法，其步驟包括：

1）對(duì)物聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行預(yù)處理，將預(yù)處理后的數(shù)據(jù)放入由主節(jié)點(diǎn)、分節(jié)點(diǎn)和數(shù)據(jù)接收節(jié)點(diǎn)組成的數(shù)據(jù)庫(kù)集群中；

所述預(yù)處理為：

1-1）把采樣得到的物聯(lián)網(wǎng)數(shù)據(jù)分類為輕量級(jí)數(shù)據(jù)和多媒體數(shù)據(jù)；

1-2）將所述輕量級(jí)數(shù)據(jù)進(jìn)行數(shù)據(jù)去重處理，對(duì)所述多媒體數(shù)據(jù)進(jìn)行特定值提取和數(shù)據(jù)去重處理；

2）根據(jù)所述數(shù)據(jù)庫(kù)集群中數(shù)據(jù)的靜態(tài)信息和動(dòng)態(tài)信息，在主節(jié)點(diǎn)上建立以SampleElement為存儲(chǔ)單元的SampleRecord記錄；

3）對(duì)所述SampleRecord記錄封裝后由主節(jié)點(diǎn)下發(fā)至每個(gè)分節(jié)點(diǎn)進(jìn)行分片處理和/或分離存儲(chǔ)；

4）所述分節(jié)點(diǎn)完成存儲(chǔ)后將結(jié)果上傳至主節(jié)點(diǎn)，主節(jié)點(diǎn)更新該數(shù)據(jù)庫(kù)集群中的數(shù)據(jù)，完成存儲(chǔ)。

2.如權(quán)利要求1所述的海量數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述靜態(tài)信息包括：物品ID、所屬領(lǐng)域和物體類型；所述動(dòng)態(tài)信息包括：輕量級(jí)數(shù)據(jù)和輕量化多媒體數(shù)據(jù)；所述輕量級(jí)數(shù)據(jù)包括：數(shù)值類型和字符型；所述輕量化多媒體數(shù)據(jù)包括：多媒體數(shù)據(jù)類型、數(shù)據(jù)格式、興趣值、摘要值以及指向多媒體數(shù)據(jù)原始值指針。

3.如權(quán)利要求1或2所述的海量數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述預(yù)處理中多媒體數(shù)據(jù)特定值根據(jù)興趣值和摘要值提取；所述興趣值由用戶設(shè)定，所述摘要值使用MD5或SHA算法。

4.如權(quán)利要求1所述的海量數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述數(shù)據(jù)去重處理使用設(shè)定閥值或塊級(jí)去重。

5.如權(quán)利要求1所述的海量數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述預(yù)處理還包括數(shù)據(jù)清理處理，所述數(shù)據(jù)清理處理為缺失值填充和平滑噪聲數(shù)據(jù)。

6.如權(quán)利要求1所述的海量數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述存儲(chǔ)單元SampleElement=<key:value>用序鍵值對(duì)表示，其中key表示數(shù)據(jù)名稱，value為數(shù)據(jù)采樣值。

7.如權(quán)利要求1所述的海量數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述多媒體數(shù)據(jù)與輕量級(jí)數(shù)據(jù)分離存儲(chǔ)；所述SampleRecord記錄多媒體數(shù)據(jù)的興趣值和/或摘要值不對(duì)多媒體數(shù)據(jù)原始值進(jìn)行存儲(chǔ)；所述SampleRecord記錄所有輕量經(jīng)數(shù)據(jù)。

8.一種物聯(lián)網(wǎng)海量數(shù)據(jù)存儲(chǔ)系統(tǒng)，包括：多個(gè)數(shù)據(jù)接收節(jié)點(diǎn)服務(wù)器組成的數(shù)據(jù)接收節(jié)點(diǎn)、一主節(jié)點(diǎn)服務(wù)器和多個(gè)分節(jié)點(diǎn)服務(wù)器組成的數(shù)據(jù)庫(kù)集群；其特征在于，?

所述數(shù)據(jù)庫(kù)集群中數(shù)據(jù)包括：靜態(tài)信息和動(dòng)態(tài)信息；

所述靜態(tài)信息包括：物品的ID、所屬領(lǐng)域和物體類型；所述動(dòng)態(tài)信息包括：輕量級(jí)數(shù)據(jù)和輕量化多媒體數(shù)據(jù)；

所述主節(jié)點(diǎn)用于接收客戶端請(qǐng)求并管理集群；所述分節(jié)點(diǎn)用于存儲(chǔ)數(shù)據(jù)；在所述主節(jié)點(diǎn)上建立以SampleElement為存儲(chǔ)單元的SampleRecord記錄；

所述數(shù)據(jù)接收節(jié)點(diǎn)用于接收物聯(lián)網(wǎng)采樣數(shù)據(jù)后對(duì)數(shù)據(jù)進(jìn)行預(yù)處理后，存入數(shù)據(jù)庫(kù)集群中。

9.如權(quán)利要求8所述的物聯(lián)網(wǎng)海量數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，所述動(dòng)態(tài)信息中采用塊級(jí)去重方法對(duì)信息去重，所述動(dòng)態(tài)信息中多媒體數(shù)據(jù)與輕量級(jí)數(shù)據(jù)分開儲(chǔ)存。

10.如權(quán)利要求8所述的物聯(lián)網(wǎng)海量數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，所述數(shù)據(jù)庫(kù)集群還包括：備用主節(jié)點(diǎn)，所述備用節(jié)點(diǎn)用于避免單個(gè)主點(diǎn)失效；該數(shù)據(jù)庫(kù)集群由NoSQL或RDBMS數(shù)據(jù)庫(kù)組成。?