[發明專利]一種面向大數據處理的數據處理方法和裝置有效
| 申請號： | 201410217394.6 | 申請日： | 2014-05-21 |
| 公開（公告）號： | CN104008153B | 公開（公告）日： | 2017-09-26 |
| 發明（設計）人： | 亓開元;辛國茂;趙仁明;房體盈 | 申請（專利權）人： | 浪潮（北京）電子信息產業有限公司 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30;H04L29/08 |
| 代理公司： | 北京安信方達知識產權代理有限公司11262 | 代理人： | 王丹,栗若木 |
| 地址： | 100085 北京市海*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 面向 數據處理 方法 裝置 | ||
1.一種面向大數據的數據處理方法，其特征在于，包括：
獲取處理環境數據及負載場景數據；
選擇所述處理環境數據及負載場景數據對應的壓縮方式；
根據所選擇的壓縮方式對數據進行處理；
所述處理環境數據包括網絡傳輸的性能指標和磁盤的性能指標；
所述負載場景數據包括讀操作比例和寫操作比例，所述讀操作比例與寫操作比例相加為1；
選擇所述處理環境數據及負載場景數據對應的壓縮方式包括：
在所述讀操作的比例在90％以上時，選擇使用Snappy或LZO壓縮方式。
2.如權利要求1所述的方法，其特征在于，選擇所述處理環境數據及負載場景數據對應的壓縮方式包括：
在網絡傳輸的性能指標為低于1Gbps且磁盤的性能指標為低于200MBps時、在CPU利用率不足50％時，使用壓縮方法進行讀、寫操作。
3.如權利要求1所述的方法，其特征在于，選擇所述處理環境數據及負載場景數據對應的壓縮方式包括：
在網絡傳輸的性能指標為高于10Gbps且磁盤的性能指標為高于600MBps時，使用壓縮方法進行讀操作、不進行寫操作。
4.如權利要求2所述的方法，其特征在于，使用壓縮方法進行讀、寫操作包括：
選擇使用Snappy壓縮方式進行寫操作，選擇使用LZO壓縮方式進行讀操作。
5.如權利要求1所述的方法，其特征在于，選擇所述處理環境數據及負載場景數據對應的壓縮方式包括：
在網絡傳輸的性能指標為低于1Gbps時，選擇使用LZO壓縮方式。
6.如權利要求1所述的方法，其特征在于，選擇所述處理環境數據及負載場景數據對應的壓縮方式包括：
在網絡傳輸的性能指標為高于10Gbps時，選擇使用Snappy壓縮方式。
7.一種面向大數據的數據處理裝置，其特征在于，包括：
獲取模塊，用于獲取處理環境數據及負載場景數據；所述處理環境數據包括網絡傳輸的性能指標和磁盤的性能指標；所述負載場景數據包括讀操作比例和寫操作比例，所述讀操作比例與寫操作比例相加為1；
選擇模塊，用于選擇所述處理環境數據及負載場景數據對應的壓縮方式；
處理模塊，用于根據所選擇的壓縮方式對數據進行處理；
選擇所述處理環境數據及負載場景數據對應的壓縮方式包括：
在所述讀操作的比例在90％以上時，選擇使用Snappy或LZO壓縮方式。
8.如權利要求7所述的裝置，其特征在于，選擇所述處理環境數據及負載場景數據對應的壓縮方式包括：
在網絡傳輸的性能指標為低于1Gbps且磁盤的性能指標為低于200MBps時、在CPU利用率不足50％時，使用壓縮方法進行讀、寫操作。
9.如權利要求7所述的裝置，其特征在于，選擇所述處理環境數據及負載場景數據對應的壓縮方式包括：
在網絡傳輸的性能指標為高于10Gbps且磁盤的性能指標為高于600MBps時，使用壓縮方法進行讀操作、不進行寫操作。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于浪潮（北京）電子信息產業有限公司，未經浪潮（北京）電子信息產業有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201410217394.6/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：一種救生艇上的海水淡化器
- 下一篇：一種治療小兒麻痹癥的中藥組合物
