[發明專利]數據存儲計算方法和系統

有效

• 申請號: 201310706148.2
• 申請日: 2013-12-19
• 公開（公告）號: CN104731796A
• 公開（公告）日: 2015-06-24
• 發明（設計）人: 佘偉;費浩峻;馮是聰;吳明輝
• 申請（專利權）人: 北京思博途信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 王丹;栗若木

1.一種數據存儲計算方法，其特征在于，包括：

對海量數據進行日志收集并預處理；

對預處理后的日志進行多維度日志分類；

根據分布式系統Block的大小，將分類后的日志數據打包，所述Block為分布式文件系統的最小存儲單位；

在所述Block上存儲數據，建立數據空間索引；

利用所述數據空間索引，維護分布式集群計算資源的負載均衡。

2.根據權利要求1所述的數據存儲計算方法，其特征在于，所述對海量數據進行日志收集并預處理包括：

對存儲在服務器中的海量數據進行日志收集，所述海量數據指的是用戶的網絡行為數據；

分析日志格式，獲取日志中的維度；

從所述日志中的維度中選取多個維度建立空間坐標，其中，每一個維度代表一種數據類型。

3.根據權利要求2所述的數據存儲計算方法，其特征在于，從所述日志中的維度中選取多個維度建立空間坐標包括：

接收用戶指令，所述用戶指令中攜帶有多個維度的標識；

根據所述維度的標識，從所述日志中的維度中選擇相應的維度建立空間坐標。

4.根據權利要求2所述的數據存儲計算方法，其特征在于，對預處理后的日志進行多維度日志分類包括：

根據所述空間坐標的范圍和各維度劃分塊的數目，采用均值劃分法確定各個維度上的劃分范圍，逐條分析日志；

將每條日志寫入對應的空間坐標的范圍中，并生成新的日志文件；

將新生成的文件進行壓縮，并記錄每個文件對應的空間范圍以及壓縮后的文件大小。

5.根據權利要求1所述的數據存儲計算方法，其特征在于，根據分布式系統Block的大小，將分類后的日志數據打包包括：

將壓縮后的文件的元信息依次寫入內存中；

根據每個文件所對應的空間范圍，將文件的元信息映射到空間坐標系中；

根據文件的空間信息，建立r-tree數據結構，所述r-tree的每個葉子節點的數據將作為一個數據包，每個數據包里包含多個文件，同時保證葉子節點存放的整體文件大小大于1/2block的值，同時小于1block值。

6.根據權利要求1所述的數據存儲計算方法，其特征在于，在所述Block上存儲數據，建立數據空間索引包括：

調用分布式文件系統的文件讀寫函數，將所述r-tree的每個葉子節點里的文件寫入分布式系統的一個文件中，并記錄文件的空間范圍；

通過與分布式系統的文件管理器進行交互，獲得每個文件所對應的block的id和相應復本的block的id，得到每個block對應的文件空間范圍；

將文件的空間范圍映射到空間坐標系中，對文件建立空間索引，通過文件與新產生的所有的block進行關聯，以建立基于block的空間索引，在內存中維持一個動態的索引數據。

7.根據權利要求1所述的數據存儲計算方法，其特征在于，所述對所述block進行分布式數據包存儲，建立數據空間索引的步驟之后，還包括：

建立新的計算模式，實現計算時集群的負載均衡。

8.根據權利要求7所述的數據存儲計算方法，其特征在于，利用所述數據空間索引，維護分布式集群計算資源的負載均衡包括：

用戶向分布式系統提交運行程序請求，所述請求中包括需求數據的維度空間范圍；

分布式系統通過系統中的空間索引系統獲取需要執行的空間區域所對應的所有block原文件及block復本文件；

分布式系統中的存儲管理器與集群進行交互得到集群中各個服務器的負載狀況，并返回給系統中的計算管理器，計算管理器根據不同服務器的負載情況，計算最優的block的id，并返回給程序請求的對應的block的id，運行程序。

9.一種數據存儲計算系統，其特征在于，包括：

數據收集模塊，用于對海量數據進行日志收集并預處理；

日志分類模塊，用于對預處理后的日志進行多維度日志分類；

數據打包模塊，用于根據分布式系統Block的大小，將分類后的日志數據打包，所述Block為分布式文件系統的最小存儲單位；

索引建立模塊，用于在所述Block上存儲數據，建立數據空間索引；

負載均衡模塊，用于利用所述數據空間索引，維護分布式集群計算資源的負載均衡。

10.根據權利要求9所述的數據存儲計算系統，其特征在于，所述負載均衡模塊包括：

請求接收單元，用于接收用戶向分布式系統提交運行程序請求，所述請求中包括需求數據的維度空間范圍；

索引單元，用于分布式系統通過系統中的空間索引系統獲取需要執行的空間區域所對應的所有block原文件及block復本文件；

存儲管理器，用于集群進行交互得到集群中各個服務器的負載狀況，并返回給系統中的計算管理器；

計算管理器，用于根據不同服務器的負載情況，計算最優的block的id，并返回給程序請求的對應的block的id，運行程序。