[發明專利]一種在鍵值庫中進行分布式數據分析的方法有效
| 申請號： | 201210190397.6 | 申請日： | 2012-06-08 |
| 公開（公告）號： | CN102750353A | 公開（公告）日： | 2012-10-24 |
| 發明（設計）人： | 王建民;丁貴廣;朱妤晴;衣國壘;楊義繁 | 申請（專利權）人： | 清華大學 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30 |
| 代理公司： | 北京清亦華知識產權代理事務所(普通合伙) 11201 | 代理人： | 羅文群 |
| 地址： | 100084*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 鍵值 進行 分布式 數據 分析 方法 | ||
【權利要求書】：
1.一種在鍵值庫中進行分布式數據分析的方法，其特征在于該方法包括以下步驟：
（1）將鍵值庫中與一個哈希范圍相對應的數據作為一個數據塊，每個數據塊有多個相同的副本，多個副本分別存儲在不同的計算機上；
（2）從上述多個副本中隨機選取一個副本，對該副本進行映射處理，得到多個中間數據塊，將該中間數據塊存儲在進行映射處理的當前計算機上；
（3）從當前計算機上讀取多個中間數據塊，對讀取的多個中間數據塊根據用戶定義的排序方法進行排序，得到一個有序數據塊，對該有序數據塊進行聚集處理，得到一個輸出文件，該輸出文件存儲在非關系型數據庫上的文件系統中；
（4）啟動分布式數據分析過程時，將用戶的分布式數據分析程序打包成一個代碼包，將該代碼包存儲在上述非關系型數據庫上的文件系統中，并將描述步驟（1）的數據塊的信息存儲在該文件系統中，數據塊描述信息包括哈希范圍的起點和終點以及每個副本所在的計算機位置；
（5）中心計算機的任務分配組件根據每個數據塊的描述信息，獲得數據塊的副本所在的計算機位置，并向該計算機分配任務，重復步驟（1）～（3）。
下載完整專利技術內容需要扣除積分，VIP會員可以免費下載。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于清華大學，未經清華大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201210190397.6/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：一種解密隱私內容的方法及裝置
- 下一篇：一種細菌脂多糖的沉降方法
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
