[發(fā)明專(zhuān)利]一種大數(shù)據(jù)寫(xiě)入、讀取速度耦合的方法、設(shè)備及存儲(chǔ)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201711051193.3
• 申請(qǐng)日: 2017-10-31
• 公開(kāi)（公告）號(hào): CN107885803B
• 公開(kāi)（公告）日: 2020-05-01
• 發(fā)明（設(shè)計(jì)）人: 任偉;肖睿陽(yáng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)地質(zhì)大學(xué)（武漢）
• 主分類(lèi)號(hào): G06F16/22
• 分類(lèi)號(hào): G06F16/22;G06F16/2455
• 代理公司: 武漢知產(chǎn)時(shí)代知識(shí)產(chǎn)權(quán)代理有限公司 42238
• 代理人: 龔春來(lái)

1.一種大數(shù)據(jù)寫(xiě)入速度耦合的方法，其特征在于：具體步驟包括：

步驟1：按照數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，將數(shù)據(jù)分配給每個(gè)節(jié)點(diǎn)；

步驟2：在節(jié)點(diǎn)處，把數(shù)據(jù)分為兩類(lèi)：一類(lèi)為樣本數(shù)據(jù)，另一類(lèi)為剩余數(shù)據(jù)；

步驟3：對(duì)隨機(jī)提取的樣本數(shù)據(jù)進(jìn)行預(yù)處理，提取所述樣本數(shù)據(jù)的數(shù)據(jù)特征；

步驟4：根據(jù)提取的所述樣本數(shù)據(jù)的數(shù)據(jù)特征，在節(jié)點(diǎn)處建立索引表；

步驟5：在節(jié)點(diǎn)下，任意選擇存儲(chǔ)量數(shù)量級(jí)在GB以上的存儲(chǔ)設(shè)備作為預(yù)處理數(shù)據(jù)子節(jié)點(diǎn)，連續(xù)存儲(chǔ)所述樣本數(shù)據(jù)；

步驟6：更新索引表，確定子節(jié)點(diǎn)分配方法；

步驟7：按照所述子節(jié)點(diǎn)分配方法分配子節(jié)點(diǎn)，并對(duì)已經(jīng)建立的索引表中的數(shù)據(jù)特征建立統(tǒng)一的壓縮機(jī)制；

步驟8：對(duì)剩余數(shù)據(jù)進(jìn)行預(yù)處理，提取所述剩余數(shù)據(jù)的數(shù)據(jù)特征；

步驟9：判斷提取的數(shù)據(jù)特征是否全為所述索引表中的數(shù)據(jù)特征；

若提取的數(shù)據(jù)特征全為所述索引表中的數(shù)據(jù)特征，則直接到步驟11；若提取的數(shù)據(jù)特征不全為所述索引表中的數(shù)據(jù)特征，則直接到步驟10；

步驟10：更新索引表，在索引表中建立新的數(shù)據(jù)特征，并分配數(shù)據(jù)特征子節(jié)點(diǎn)，然后到步驟11；

步驟11：根據(jù)數(shù)據(jù)特征和索引表上的壓縮機(jī)制，將數(shù)據(jù)按照數(shù)據(jù)特征進(jìn)行數(shù)據(jù)壓縮處理；

步驟12：隨機(jī)選擇一個(gè)數(shù)據(jù)特征子節(jié)點(diǎn)寫(xiě)入數(shù)據(jù)，在剩余的數(shù)據(jù)特征子節(jié)點(diǎn)中建立指向?qū)懭霐?shù)據(jù)的索引；

步驟13：判斷是否繼續(xù)寫(xiě)入數(shù)據(jù)；

若是，則回到步驟8；若不是，則到步驟14；

步驟14：寫(xiě)入數(shù)據(jù)完成；

所述數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)包括：數(shù)據(jù)中心的一個(gè)服務(wù)器記為一個(gè)節(jié)點(diǎn)，每臺(tái)服務(wù)器下的各個(gè)存儲(chǔ)設(shè)備記為子節(jié)點(diǎn)，節(jié)點(diǎn)之間相互獨(dú)立，各節(jié)點(diǎn)下設(shè)子節(jié)點(diǎn)；數(shù)據(jù)預(yù)處理操作包括：每獲取一條數(shù)據(jù)，均提取數(shù)據(jù)特征；每條數(shù)據(jù)可以存在多個(gè)數(shù)據(jù)特征，大量數(shù)據(jù)可以存在相同數(shù)據(jù)特征；數(shù)據(jù)特征由數(shù)據(jù)形式?jīng)Q定；

所述索引表包括：數(shù)據(jù)特征、數(shù)據(jù)特征頻率、預(yù)處理數(shù)據(jù)的索引信息；所述預(yù)處理數(shù)據(jù)的索引信息是指數(shù)據(jù)到每個(gè)節(jié)點(diǎn)的索引；每加入一條數(shù)據(jù)時(shí)，更新一次索引表。

2.如權(quán)利要求1所述的一種大數(shù)據(jù)寫(xiě)入速度耦合的方法，其特征在于：所述子節(jié)點(diǎn)分配方法是指：根據(jù)節(jié)點(diǎn)處的索引表中的數(shù)據(jù)特征頻率,將不同容量的存儲(chǔ)空間按照數(shù)據(jù)特征頻率的比值分配到各個(gè)數(shù)據(jù)特征下，即數(shù)據(jù)特征子節(jié)點(diǎn)。

3.如權(quán)利要求1所述的一種大數(shù)據(jù)寫(xiě)入速度耦合的方法，其特征在于：所述壓縮處理是指：預(yù)處理后，利用數(shù)據(jù)特征相同便于壓縮的特性，根據(jù)索引表中的數(shù)據(jù)特征的異同，對(duì)數(shù)據(jù)進(jìn)行壓縮，寫(xiě)入數(shù)據(jù)特征子節(jié)點(diǎn)內(nèi)。

4.一種大數(shù)據(jù)讀取速度耦合的方法，用于讀取按照如權(quán)利要求1所述的大數(shù)據(jù)寫(xiě)入速度耦合的方法寫(xiě)入的數(shù)據(jù)，其特征在于：具體步驟包括：

步驟1：根據(jù)讀取要求，將讀取指令傳輸?shù)礁鱾€(gè)節(jié)點(diǎn)；

步驟2：在節(jié)點(diǎn)處提取需要讀取的數(shù)據(jù)特征；

步驟3：查詢(xún)所述索引表；

步驟4：判斷所述數(shù)據(jù)特征是否匹配索引表中的數(shù)據(jù)特征；

若不匹配，則到步驟5；若匹配，則到步驟6；

步驟5：輸出需要讀取的數(shù)據(jù)不存在的指令；

步驟6：根據(jù)所述索引表，查詢(xún)各個(gè)子節(jié)點(diǎn)；

步驟7：匹配的數(shù)據(jù)特征子節(jié)點(diǎn)中是否存在重復(fù)索引；

若存在，則到步驟8，然后到步驟9；若不存在，則直接到步驟9；

步驟8：刪除重復(fù)索引；

步驟9：在預(yù)處理數(shù)據(jù)子節(jié)點(diǎn)和數(shù)據(jù)特征子節(jié)點(diǎn)處提取所需數(shù)據(jù)；

步驟10：將提取的所需數(shù)據(jù)寫(xiě)入各個(gè)節(jié)點(diǎn)。

5.如權(quán)利要求4所述的一種大數(shù)據(jù)讀取速度耦合的方法，其特征在于：所述刪除重復(fù)索引是指：提取數(shù)據(jù)時(shí)，若匹配的數(shù)據(jù)特征超過(guò)兩個(gè)，則在對(duì)應(yīng)數(shù)據(jù)特征子節(jié)點(diǎn)內(nèi)讀取數(shù)據(jù)時(shí)，剔除數(shù)據(jù)特征子節(jié)點(diǎn)內(nèi)指向數(shù)據(jù)特征的多余索引，以防重復(fù)提取數(shù)據(jù)。

6.一種存儲(chǔ)設(shè)備，其特征在于：所述存儲(chǔ)設(shè)備存儲(chǔ)指令及數(shù)據(jù)用于實(shí)現(xiàn)權(quán)利要求1～5所述的任意一種方法。

7.一種大數(shù)據(jù)寫(xiě)入、讀取速度耦合的設(shè)備，其特征在于：包括存儲(chǔ)器及所述存儲(chǔ)設(shè)備；所述處理器加載并執(zhí)行所述存儲(chǔ)設(shè)備存儲(chǔ)指令及數(shù)據(jù)用于實(shí)現(xiàn)權(quán)利要求1～5所述的任意一種方法。