[發(fā)明專(zhuān)利]海量數(shù)據(jù)的接收存儲(chǔ)方法及系統(tǒng)

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201110452183.7
• 申請(qǐng)日: 2011-12-29
• 公開(kāi)（公告）號(hào): CN103186475A
• 公開(kāi)（公告）日: 2013-07-03
• 發(fā)明（設(shè)計(jì)）人: 吳飛虎
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳市快播科技有限公司
• 主分類(lèi)號(hào): G06F12/08
• 分類(lèi)號(hào): G06F12/08;G06F17/30
• 代理公司: 北京德琦知識(shí)產(chǎn)權(quán)代理有限公司 11018
• 代理人: 謝安昆;宋志強(qiáng)

1.一種海量數(shù)據(jù)的接收存儲(chǔ)方法，其特征在于，該方法包括：

為用戶請(qǐng)求分配緩存標(biāo)識(shí)；

將根據(jù)用戶請(qǐng)求產(chǎn)生的用戶數(shù)據(jù)寫(xiě)入所述緩存標(biāo)識(shí)對(duì)應(yīng)的緩存模塊；

當(dāng)所述緩存模塊達(dá)到緩存上限時(shí)，將所述緩存模塊中已緩存的用戶數(shù)據(jù)進(jìn)行數(shù)據(jù)入庫(kù)處理。

2.如權(quán)利要求1所述的海量數(shù)據(jù)的接收存儲(chǔ)方法，其特征在于，所述將根據(jù)用戶請(qǐng)求產(chǎn)生的用戶數(shù)據(jù)寫(xiě)入所述緩存標(biāo)識(shí)對(duì)應(yīng)的緩存模塊，包括：

讀取所述緩存標(biāo)識(shí)對(duì)應(yīng)的緩存模塊的緩存狀態(tài)值，若所述緩存狀態(tài)值達(dá)到預(yù)設(shè)的最大值，則將所有已緩存的用戶數(shù)據(jù)寫(xiě)入數(shù)據(jù)服務(wù)器，清空緩存之后，將所述待緩存的用戶數(shù)據(jù)寫(xiě)入所述緩存模塊；若未達(dá)到預(yù)設(shè)的最大值，則對(duì)該緩存模塊加鎖，將待緩存的用戶數(shù)據(jù)寫(xiě)入到該緩存模塊后解除鎖定。

3.如權(quán)利要求1所述的海量數(shù)據(jù)的接收存儲(chǔ)方法，其特征在于，所述數(shù)據(jù)入庫(kù)處理包括：

將所述緩存模塊中緩存的所有用戶數(shù)據(jù)寫(xiě)入數(shù)據(jù)服務(wù)器中，并清空緩存；

定時(shí)將所述數(shù)據(jù)服務(wù)器中保存的用戶數(shù)據(jù)轉(zhuǎn)移到臨時(shí)數(shù)據(jù)庫(kù)；

定時(shí)對(duì)所述臨時(shí)數(shù)據(jù)庫(kù)中保存的用戶數(shù)據(jù)進(jìn)行匯總和過(guò)濾，并將得到的最終用戶數(shù)據(jù)寫(xiě)入正式數(shù)據(jù)庫(kù)。

4.如權(quán)利要求3所述的海量數(shù)據(jù)的接收存儲(chǔ)方法，其特征在于，該方法進(jìn)一步包括：

定時(shí)檢查所述緩存模塊是否正常，若不正常，則將緩存模塊將已緩存的用戶數(shù)據(jù)寫(xiě)入數(shù)據(jù)服務(wù)器并清空緩存。

5.如權(quán)利要求4所述的海量數(shù)據(jù)的接收存儲(chǔ)方法，其特征在于，所述不正常包括：

緩存的用戶數(shù)據(jù)與預(yù)設(shè)的結(jié)構(gòu)不同、緩存狀態(tài)值不在預(yù)設(shè)的最大值之內(nèi)、或緩存模塊狀態(tài)異常之中任意一項(xiàng)或多項(xiàng)。

6.如權(quán)利要求4所述的海量數(shù)據(jù)的接收存儲(chǔ)方法，其特征在于，所述數(shù)據(jù)服務(wù)器中的用戶數(shù)據(jù)以多個(gè)數(shù)據(jù)文件形式分布在不同硬盤(pán)中。

7.一種海量數(shù)據(jù)的接收存儲(chǔ)系統(tǒng)，其特征在于，該系統(tǒng)包括：接口模塊、多個(gè)緩存模塊和數(shù)據(jù)存儲(chǔ)模塊；

所述接口模塊，為用戶請(qǐng)求分配緩存標(biāo)識(shí)；并根據(jù)所述緩存標(biāo)識(shí)，將根據(jù)用戶請(qǐng)求產(chǎn)生的用戶數(shù)據(jù)寫(xiě)入所述緩存標(biāo)識(shí)對(duì)應(yīng)的緩存模塊；當(dāng)所述緩存模塊達(dá)到緩存上限時(shí)，指令所述緩存模塊將已緩存的用戶數(shù)據(jù)轉(zhuǎn)移到所述數(shù)據(jù)存儲(chǔ)模塊；

所述緩存模塊，用于緩存用戶數(shù)據(jù)；根據(jù)所述接口模塊的指令，將緩存的所有用戶數(shù)據(jù)轉(zhuǎn)移到所述數(shù)據(jù)存儲(chǔ)模塊；

所述數(shù)據(jù)存儲(chǔ)模塊，用于對(duì)從所述緩存模塊接收到的用戶數(shù)據(jù)進(jìn)行數(shù)據(jù)入庫(kù)處理。

8.如權(quán)利要求7所述的海量數(shù)據(jù)的接收存儲(chǔ)系統(tǒng)，其特征在于，所述接口模塊包括：

標(biāo)識(shí)分配單元，用于接收用戶請(qǐng)求，并為用戶請(qǐng)求隨機(jī)分配緩存標(biāo)識(shí)；

緩存狀態(tài)獲取單元，用于讀取所述緩存標(biāo)識(shí)對(duì)應(yīng)的緩存模塊的緩存狀態(tài)值；

數(shù)據(jù)寫(xiě)入單元，若所述緩存狀態(tài)值達(dá)到預(yù)設(shè)的最大值，則指令所述緩存模塊將已緩存的用戶數(shù)據(jù)寫(xiě)入數(shù)據(jù)服務(wù)器，清空緩存之后，將所述待緩存的用戶數(shù)據(jù)寫(xiě)入所述緩存模塊；若未達(dá)到預(yù)設(shè)的最大值，則對(duì)該緩存模塊加鎖，將待緩存的用戶數(shù)據(jù)寫(xiě)入到該緩存模塊后解除鎖定。

9.如權(quán)利要求7所述的海量數(shù)據(jù)的接收存儲(chǔ)系統(tǒng)，其特征在于，所述數(shù)據(jù)存儲(chǔ)模塊包括：數(shù)據(jù)服務(wù)器、臨時(shí)數(shù)據(jù)庫(kù)和正式數(shù)據(jù)庫(kù)；

所述數(shù)據(jù)服務(wù)器，用于保存所述緩存模塊寫(xiě)入的用戶數(shù)據(jù)，并定時(shí)將自身保存的用戶數(shù)據(jù)轉(zhuǎn)移到臨時(shí)數(shù)據(jù)庫(kù)；

所述臨時(shí)數(shù)據(jù)庫(kù)，用于保存所述緩存模塊寫(xiě)入的用戶數(shù)據(jù)，并定時(shí)對(duì)自身保存的用戶數(shù)據(jù)進(jìn)行匯總和過(guò)濾，并將得到的最終用戶數(shù)據(jù)寫(xiě)入正式數(shù)據(jù)庫(kù)；

所述正式數(shù)據(jù)庫(kù)，用于保存所述臨時(shí)數(shù)據(jù)庫(kù)寫(xiě)入的最終用戶數(shù)據(jù)。

10.如權(quán)利要求8所述的海量數(shù)據(jù)的接收存儲(chǔ)系統(tǒng)，其特征在于，所述接口模塊進(jìn)一步包括：

緩存檢查單元，定時(shí)檢查所述緩存模塊是否正常，若不正常，則指令緩存模塊將已緩存的用戶數(shù)據(jù)寫(xiě)入數(shù)據(jù)服務(wù)器并清空緩存。

11.如權(quán)利要求10所述的海量數(shù)據(jù)的接收存儲(chǔ)系統(tǒng)，其特征在于，所述緩存檢查單元，在所述緩存模塊緩存的用戶數(shù)據(jù)與預(yù)設(shè)的結(jié)構(gòu)不同、緩存狀態(tài)值不在預(yù)設(shè)的最大值之內(nèi)、或緩存模塊狀態(tài)異常之中任意一項(xiàng)或多項(xiàng)發(fā)生時(shí)，判定所述緩存模塊不正常。

12.如權(quán)利要求9所述的海量數(shù)據(jù)的接收存儲(chǔ)系統(tǒng)，其特征在于，所述數(shù)據(jù)服務(wù)器中的用戶數(shù)據(jù)以多個(gè)數(shù)據(jù)文件形式分布在不同硬盤(pán)中。