[發明專利]存儲調度方法及裝置有效
| 申請號： | 201711137415.3 | 申請日： | 2017-11-16 |
| 公開（公告）號： | CN109800076B | 公開（公告）日： | 2021-09-10 |
| 發明（設計）人： | 白雪珂 | 申請（專利權）人： | 航天信息股份有限公司 |
| 主分類號： | G06F9/50 | 分類號： | G06F9/50;H04L29/08 |
| 代理公司： | 北京合智同創知識產權代理有限公司 11545 | 代理人： | 李杰 |
| 地址： | 100093 *** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 存儲 調度 方法 裝置 | ||
1.一種存儲調度方法，其特征在于，應用于Hadoop分布式文件系統，包括：
根據多個數據節點{M1，M2，…，Mn}的動態因素，針對所述數據節點建立性能評價模型，所述數據節點的動態因素包括：CPU使用率、內存使用率、網絡帶寬使用率以及磁盤使用率，所述性能評價模型為：NEval＝WCPU×NCPU+WMEM×NMEM+WNET×NNET+WSTO×NSTO，NEval表示性能評價數據，WCPU、WMEM、WNET、WSTO分別為CPU使用率、內存使用率、網絡帶寬使用率、磁盤使用率在性能評價中的權重值，NCPU表示CPU使用率、NMEM表示內存使用率、NNET表示網絡帶寬使用率、NSTO表示磁盤使用率；
計算所述多個數據節點的性能評價數據{NEvalM1，NEvalM2，…，NEvalMn}；
根據多個性能評價數據中的最大的性能評價數據、最小的性能評價數據以及步長均差和存儲機制中副本的數量確定所述數據節點的性能級別，所述步長均差為最大的性能評價數據與最小的性能評價數據之差再除以存儲機制中副本中的數量，所述性能級別包括性能最高的最高性能級別、性能居中的居中性能級別以及性能最低的最低性能級別；
根據所述數據節點的配置屬性對所述數據節點進行配置級別劃分，所述數據節點的配置級別有兩個層次，分別為高配置、低配置；
根據所述數據節點的性能級別、以及所述數據節點的配置級別，對實施存儲功能的所述數據節點參考網絡位置進行調度，所述調度包括初始調度、動態調度中的至少一種；
針對高配置數據節點，所述動態調度包括：
S401、遍歷系統中的所有高配置數據節點，并判斷是否遍歷結束；若遍歷結束，則結束，否則，執行步驟S402；
S402、遍歷所有高配置數據節點上存儲的副本，并判斷是否遍歷結束；若未遍歷結束，執行步驟S403A，否則執行步驟S403B；
S403A、判斷副本的訪問頻率是否小于冷閾值；若是，則執行步驟S404，否則跳轉到S402；
S403B、判斷有所述高配置節點在同一機架上是否有低配置節點；若是，則執行步驟S405A，否則執行步驟S405B；
S404、記錄此副本到需要移動的副本集合中；并跳轉到步驟S402；
S405A、對該同一機架上的低配置節點進行性能級別排序，跳轉到步驟S406；
S405B、選擇與所述高配置節點距離最近的另一機架；并跳轉到步驟S405A；
S406、將需要移動的副本集合移動到性能級別最高的低配置節點上，并從副本集合中移除原副本，清空所述副本；
針對低配置數據節點，所述動態調度包括：
S501、遍歷系統中的所有低配置數據節點，并判斷是否遍歷結束；若遍歷結束，則結束，否則，執行步驟S502；
S502、遍歷所有低配置數據節點上存儲的副本，并判斷是否遍歷結束；若未遍歷結束，執行步驟S503A，否則執行步驟S503B；
S503A、判斷副本的訪問頻率是否大于熱閾值；若是，則執行步驟S504，否則跳轉到S502；
S503、判斷有所述低配置節點在同一機架上是否有高配置節點；若是，則執行步驟S505A，否則執行步驟S505B；
S504、記錄此副本到需要移動的副本集合中，并跳轉到步驟S502；
S505A、對該同一機架上的高配置節點進行性能級別排序，跳轉到步驟S506；
S505B、選擇與所述低配置節點距離最近的另一機架；并跳轉到步驟S505A；
S506、將需要移動的副本集合移動到性能級別最高的高配置節點上，并從副本集合中移除原副本，清空所述副本。
2.一種存儲調度裝置，其特征在于，應用于Hadoop分布式文件系統，包括：
第一程序模塊，用于根據多個數據節點{M1，M2，…，Mn}的動態因素，針對所述數據節點建立性能評價模型，所述數據節點的動態因素包括：CPU使用率、內存使用率、網絡帶寬使用率以及磁盤使用率，所述性能評價模型為：NEval＝WCPU×NCPU+WMEM×NMEM+WNET×NNET+WSTO×NSTO，NEval表示性能評價數據，WCPU、WMEM、WNET、WSTO分別為CPU使用率、內存使用率、網絡帶寬使用率、磁盤使用率在性能評價中的權重值，NCPU表示CPU使用率、NMEM表示內存使用率、NNET表示網絡帶寬使用率、NSTO表示磁盤使用率；
第三程序模塊，用于計算所述多個數據節點的性能評價數據{NEvalM1，NEvalM2，…，NEvalMn}；
第四程序模塊，根據多個性能評價數據中的最大的性能評價數據、最小的性能評價數據以及步長均差和存儲機制中副本的數量確定所述數據節點的性能級別，所述步長均差為最大的性能評價數據與最小的性能評價數據之差再除以存儲機制中副本中的數量，所述性能級別包括性能最高的最高性能級別、性能居中的居中性能級別以及性能最低的最低性能級別；
第五程序模塊，用于根據所述數據節點的配置屬性對所述數據節點進行配置級別劃分，所述數據節點的配置級別有兩個層次，分別為高配置、低配置；
第二程序模塊，用于根據所述數據節點的性能級別、以及所述數據節點的配置級別，對實施存儲功能的所述數據節點參考網絡位置進行調度，所述調度包括初始調度、動態調度中的至少一種；
針對高配置數據節點，所述動態調度包括：
S401、遍歷系統中的所有高配置數據節點，并判斷是否遍歷結束；若遍歷結束，則結束，否則，執行步驟S402；
S402、遍歷所有高配置數據節點上存儲的副本，并判斷是否遍歷結束；若未遍歷結束，執行步驟S403A，否則執行步驟S403B；
S403A、判斷副本的訪問頻率是否小于冷閾值；若是，則執行步驟S404，否則跳轉到S402；
S403B、判斷有所述高配置節點在同一機架上是否有低配置節點；若是，則執行步驟S405A，否則執行步驟S405B；
S404、記錄此副本到需要移動的副本集合中；并跳轉到步驟S402；
S405A、對該同一機架上的低配置節點進行性能級別排序，跳轉到步驟S406；
S405B、選擇與所述高配置節點距離最近的另一機架；并跳轉到步驟S405A；
S406、將需要移動的副本集合移動到性能級別最高的低配置節點上，并從副本集合中移除原副本，清空所述副本；
針對低配置數據節點，所述動態調度包括：
S501、遍歷系統中的所有低配置數據節點，并判斷是否遍歷結束；若遍歷結束，則結束，否則，執行步驟S502；
S502、遍歷所有低配置數據節點上存儲的副本，并判斷是否遍歷結束；若未遍歷結束，執行步驟S503A，否則執行步驟S503B；
S503A、判斷副本的訪問頻率是否大于熱閾值；若是，則執行步驟S504，否則跳轉到S502；
S503、判斷有所述低配置節點在同一機架上是否有高配置節點；若是，則執行步驟S505A，否則執行步驟S505B；
S504、記錄此副本到需要移動的副本集合中，并跳轉到步驟S502；
S505A、對該同一機架上的高配置節點進行性能級別排序，跳轉到步驟S506；
S505B、選擇與所述低配置節點距離最近的另一機架；并跳轉到步驟S505A；
S506、將需要移動的副本集合移動到性能級別最高的高配置節點上，并從副本集合中移除原副本，清空所述副本。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于航天信息股份有限公司，未經航天信息股份有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201711137415.3/1.html，轉載請聲明來源鉆瓜專利網。
