[發(fā)明專利]一種大數(shù)據(jù)寫入、讀取速度耦合的方法、設備及存儲設備

有效

• 申請?zhí)枺?/td>: 201711051193.3
• 申請日: 2017-10-31
• 公開（公告）號: CN107885803B
• 公開（公告）日: 2020-05-01
• 發(fā)明（設計）人: 任偉;肖睿陽
• 申請（專利權）人: 中國地質(zhì)大學（武漢）
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455
• 代理公司: 武漢知產(chǎn)時代知識產(chǎn)權代理有限公司 42238
• 代理人: 龔春來

本發(fā)明提供了一種大數(shù)據(jù)寫入、讀取速度耦合的方法、設備及存儲設備，一種大數(shù)據(jù)寫入、讀取速度耦合的方法主要是通過對數(shù)據(jù)提取數(shù)據(jù)特征，建立的索引表等完成數(shù)據(jù)的寫入過程和讀取過程；一種大數(shù)據(jù)寫入、讀取速度耦合的設備及存儲設備用于實現(xiàn)種匹配大數(shù)據(jù)讀寫速度不耦合的方法。本發(fā)明提供的一種大數(shù)據(jù)寫入、讀取速度耦合的方法、設備及存儲設備，在面向混雜數(shù)據(jù)流時，能夠快速傳輸數(shù)據(jù)，提升數(shù)據(jù)的傳輸速度。

技術領域

本發(fā)明涉及大數(shù)據(jù)讀寫領域，尤其涉及一種大數(shù)據(jù)寫入、讀取速度耦合的方法、設備及存儲設備。

背景技術

大數(shù)據(jù)時代下，數(shù)據(jù)量以指數(shù)級別爆炸增長，其數(shù)量級甚至已經(jīng)達到了PB、 ZB級別。與傳統(tǒng)小型數(shù)據(jù)庫不同，大數(shù)據(jù)存儲信息具有混雜性、數(shù)據(jù)廢氣等特點，雖然存儲器價格越來越低廉，單個存儲器的存儲容量也越來越大，但是目前存儲方案仍然無法滿足當前數(shù)據(jù)產(chǎn)生連續(xù)性和數(shù)據(jù)處理快捷性的需求。數(shù)據(jù)產(chǎn)生的速度已經(jīng)遠遠高于數(shù)據(jù)讀寫速度，且讀寫速度不耦合會導致時間和資源上的浪費，從而無法與當前數(shù)據(jù)進行實時匹配。因此，一種大數(shù)據(jù)寫入、讀取速度耦合的方法是一個值得深入研究的問題。

發(fā)明內(nèi)容

為了解決上述問題，本發(fā)明提供了一種大數(shù)據(jù)寫入、讀取速度耦合的方法，主要是通過對數(shù)據(jù)提取數(shù)據(jù)特征，建立的索引表等完成數(shù)據(jù)的寫入過程和讀取過程。

一種大數(shù)據(jù)寫入速度耦合的方法的主要步驟如下：

步驟1：按照數(shù)據(jù)存儲結(jié)構，將數(shù)據(jù)分配給每個節(jié)點；

步驟2：在節(jié)點處，把數(shù)據(jù)分為兩類：一類為樣本數(shù)據(jù)，另一類為剩余數(shù)據(jù)；

步驟3：對隨機提取的樣本數(shù)據(jù)進行預處理，提取所述樣本數(shù)據(jù)的數(shù)據(jù)特征；

步驟4：根據(jù)提取的所述樣本數(shù)據(jù)的數(shù)據(jù)特征，在節(jié)點處建立索引表；

步驟5：在節(jié)點下，任意選擇存儲量數(shù)量級在GB以上的存儲設備作為預處理數(shù)據(jù)子節(jié)點，連續(xù)存儲所述樣本數(shù)據(jù)；

步驟6：更新索引表，確定子節(jié)點分配方法；

步驟7：按照所述子節(jié)點分配方法分配子節(jié)點，并對已經(jīng)建立的索引表中的數(shù)據(jù)特征建立統(tǒng)一的壓縮機制；

步驟8：對剩余數(shù)據(jù)進行預處理，提取所述剩余數(shù)據(jù)的數(shù)據(jù)特征；

步驟9：判斷提取的數(shù)據(jù)特征是否全為所述索引表中的數(shù)據(jù)特征？

若提取的數(shù)據(jù)特征全為所述索引表中的數(shù)據(jù)特征，則直接到步驟11；若提取的數(shù)據(jù)特征不全為所述索引表中的數(shù)據(jù)特征，則直接到步驟10；

步驟10：更新索引表，在索引表中建立新的數(shù)據(jù)特征，并分配數(shù)據(jù)特征子節(jié)點，然后到步驟11；

步驟11：根據(jù)數(shù)據(jù)特征和索引表上的壓縮機制，將數(shù)據(jù)按照數(shù)據(jù)特征進行數(shù)據(jù)壓縮處理；

步驟12：隨機選擇一個數(shù)據(jù)特征子節(jié)點寫入數(shù)據(jù)，在剩余的數(shù)據(jù)特征子節(jié)點中建立指向?qū)懭霐?shù)據(jù)的索引；

步驟13：判斷是否繼續(xù)寫入數(shù)據(jù)？

若是，則回到步驟8；若不是，則到步驟14；

步驟14：數(shù)據(jù)寫入完成。

進一步地，所述數(shù)據(jù)存儲結(jié)構包括：數(shù)據(jù)中心的一個服務器記為一個節(jié)點，每臺服務器下的各個存儲設備記為子節(jié)點，節(jié)點之間相互獨立，各節(jié)點下設子節(jié)點；數(shù)據(jù)預處理操作包括：每獲取一條數(shù)據(jù)，均提取數(shù)據(jù)特征；每條數(shù)據(jù)可以存在多個數(shù)據(jù)特征，大量數(shù)據(jù)可以存在相同數(shù)據(jù)特征；數(shù)據(jù)特征由數(shù)據(jù)形式?jīng)Q定。

進一步地，所述索引表包括：數(shù)據(jù)特征、數(shù)據(jù)特征頻率、預處理數(shù)據(jù)的索引信息；所述預處理數(shù)據(jù)的索引信息是指數(shù)據(jù)到每個節(jié)點的索引；每加入一條數(shù)據(jù)時，更新一次索引表。