[發明專利]Hadoop的配置參數的計算方法及系統在審
| 申請號： | 201511025710.0 | 申請日： | 2015-12-30 |
| 公開（公告）號： | CN105653355A | 公開（公告）日： | 2016-06-08 |
| 發明（設計）人： | 劉勇;喻之斌;須成忠 | 申請（專利權）人： | 中國科學院深圳先進技術研究院 |
| 主分類號： | G06F9/46 | 分類號： | G06F9/46 |
| 代理公司： | 深圳市科進知識產權代理事務所(普通合伙) 44316 | 代理人： | 郝明琴 |
| 地址： | 518055 廣東省深圳*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | hadoop 配置 參數 計算方法 系統 | ||
1.一種Hadoop的配置參數的計算方法，其特征在于，所述方法包括如下步 驟：
對工業環境下的實際的生產數據采樣獲得工業環境的小數據集；
隨機產生Hadoop配置參數，并將工業環境的小數據集運行于Hadoop集群， 輸出為運行時間‘
以時間為類標，Hadoop配置參數的組合為輸入，采用信息增益的方案，輸 出為Hadoop的重要配置參數；
采用遺傳算法對獲取的重要性參數迭代搜索最優配置組合。
2.根據權利要求1所述的方法，其特征在于，所述采用遺傳算法對獲取的 重要性參數迭代搜索最優配置組合具體，包括：
使用機器學習算法遺傳算法對所述重要性參數進行選擇、交叉、變異，多 次迭代搜索近似最優配置組合。
3.根據權利要求1所述的方法，其特征在于，所述方法還包括：
用最優配置組合替換所述工業環境的Hadoop配置值。
4.一種Hadoop的配置參數的計算系統，其特征在于，所述系統包括：
采樣單元，用于對工業環境下的實際的生產數據采樣獲得工業環境的小數 據集；
隨機單元，用于隨機產生Hadoop配置參數，并將工業環境的小數據集運行 于Hadoop集群，輸出為運行時間‘
信息增益單元，用于以時間為類標，Hadoop配置參數的組合為輸入，采用 信息增益的方案，輸出為Hadoop的重要配置參數；
優化單元，用于采用遺傳算法對獲取的重要性參數迭代搜索最優配置組合。
5.根據權利要求4所述的系統，其特征在于，
所述優化單元具體，用于使用機器學習算法遺傳算法對所述重要性參數進 行選擇、交叉、變異，多次迭代搜索近似最優配置組合。
6.根據權利要求4所述的系統，其特征在于，所述系統還包括：
替換單元，用于用最優配置組合替換所述工業環境的Hadoop配置值。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國科學院深圳先進技術研究院，未經中國科學院深圳先進技術研究院許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201511025710.0/1.html，轉載請聲明來源鉆瓜專利網。
