[發明專利]一種基于海量SequenceFile數據的分布式存儲方法

無效

• 申請號: 201110421013.2
• 申請日: 2011-12-15
• 公開（公告）號: CN102521361A
• 公開（公告）日: 2012-06-27
• 發明（設計）人: 王宇軒;鄧春柏
• 申請（專利權）人: 北京世紀高通科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

技術領域

本發明涉及計算機互聯網領域，尤其涉及一種基于海量SequenceFile數據的分布式存儲方法。

背景技術

隨時社會的發展和時代的進步，信息量高速增長爆發，由此帶來海量數據，然而單機服務器不可能無限擴張設備的容量，若所有信息都存儲在一臺服務器上進行數據的處理，也使得處理器變得不堪重負，并且，涉及到一些具體的操作，例如直接存放純文本數據，會使得數據較為凌亂，同類數據不便于進行歸類和查詢，并且數據傳輸的時間也較長，由此可見，傳統的數據存儲與管理方式已經很難滿足海量數據存儲在容量、性能、存儲效率和安全性等方面的要求。

發明內容

本發明所要解決的技術問題在于提供一種基于海量SequenceFile數據的分布式存儲方法和裝置，實現對文本數據的二進制格式的存儲，提高了插入和查詢數據的速度。

為解決上述技術問題，本發明實施例采用如下技術方案：

一種基于海量SequenceFile數據的分布式存儲方法，包括：

將同一類的批量文本數據打包為一行SequenceFile記錄，并為SequenceFile所述記錄配置用于查詢的鍵，所述文本數據的數據內容作為SequenceFile記錄的值，多行SequenceFile記錄組成一個SequenceFile文件；

將SequenceFile文件分割為多個子文件，并將所述多個子文件分發到集群的不同機器上存儲。

在所述將SequenceFile文件分割為多個子文件，并將所述多個子文件分發到集群的不同機器上存儲之后，還包括：

在所述集群的預設機器上，備份所述SequenceFile文件。

在所述將SequenceFile文件分割為多個子文件，并將所述多個子文件分發到集群的不同機器上存儲之后，還包括：

將分發并存儲到集群的不同機器上的多個子文件重新組合為一個完整的SequenceFile文件。

在所述將分發并存儲到集群的不同機器上的多個子文件重新組合為一個完整的SequenceFile文件之后，還包括：

將所述SequenceFile文件解包為對應的文本數據，根據需要查詢的SequenceFile記錄的鍵，查詢對應的SequenceFile記錄的值。

一種基于海量SequenceFile數據的分布式存儲裝置，其包括：

打包處理單元，用于將同一類的批量文本數據打包為一行SequenceFile記錄，所述文本數據的文件名稱作為SequenceFile記錄的鍵，所述文本數據的數據內容作為SequenceFile記錄的值，多行SequenceFile記錄組成一個SequenceFile文件；

分發存儲單元，用于將SequenceFile文件分割為多個子文件，并將所述多個子文件分發到集群的不同機器上存儲。

還包括：

備份單元，用于在所述集群的預設機器上，備份所述SequenceFile文件。

還包括：

組合單元，用于將分發并存儲到集群的不同機器上的多個子文件重新組合為一個完整的SequenceFile文件。

還包括：

解壓查詢單元，用于將所述SequenceFile文件解包為對應的文本數據，根據需要查詢的SequenceFile記錄的鍵，查詢對應的SequenceFile記錄的值。

在本發明實施例中，在存放數據前，先把數據轉化成sequencefile格式的數據，使數據以二進制鍵值形式存在，然后可以對sequencefile進行壓縮處理后再把數據存放到分布式的文件系統中，這樣可以支持更加大量的數據，而且插入和查詢數據的速度比正常普通存放文本數據快。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明實施例中基于海量SequenceFile數據的分布式存儲方法的流程圖一；

圖2為本發明實施例中基于海量SequenceFile數據的分布式存儲方法的流程圖二；

圖3為本發明實施例中把文本數據打包成為Sequencefile文件的示意圖；

圖4為本發明實施例中分布式存儲Sequencefile文件過程示意圖；