[發明專利]基于CEPH的元素選擇方法、裝置、服務器及存儲介質

有效

• 申請號: 202010992416.1
• 申請日: 2020-09-21
• 公開（公告）號: CN111930685B
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 胡玉晟;龔立義
• 申請（專利權）人: 柏科數據技術（深圳）股份有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/13;G06F16/172;G06F16/182;G06F7/58
• 代理公司: 深圳峰誠志合知識產權代理有限公司 44525
• 代理人: 李明香

本發明實施例公開了一種基于CEPH的元素選擇方法、裝置、設備及存儲介質，其中，所述方法包括：計算CRUSH_HASH輸入參數的乘積結果，所述CRUSH_HASH輸入參數，包括：bucket的x、bucket的id和選擇的次數r；將所述乘積結果作為隨機數種子，利用MT19937算法生成與所述bucket包括的item數量相對應的32位的偽隨機數rand；計算所述偽隨機數與其所對應的item的權重比值的乘積，根據所述乘積結果確定選中的item。

技術領域

本發明涉及分布式數據庫技術領域，尤其涉及一種基于CEPH的元素選擇方法、裝置、設備及存儲介質。

背景技術

Ceph是一種為優秀的性能、可靠性和可擴展性而設計的統一的、分布式文件系統。ceph摒棄了傳統的集中式存儲元數據尋址的方案，采用CRUSH算法，數據分布均衡，并行度高。并考慮了容災域的隔離，能夠實現各類負載的副本放置規則，例如跨機房、機架感知等。能夠支持上千個存儲節點的規模，支持TB到PB級的數據。

傳統的分布式存儲系統ceph將數據切割為固定大小的對象，Ceph使用Bucket將系統的存儲資源按照層級結構組織完成兩個目標：映射算法的高效性和可擴展性，以及當集群狀態發生變化時（比如設備的增加或者刪除）數據的遷移量要盡可能的少。

CEPH采用Crush（Controlled Replication Under Scalable Hashing）算法,使得數據的存儲位置都是計算出來的而不是去查詢專門的元數據服務器得來的。CRUSH共定義了四種bucket類型（Uniform Bucket、List Bucket、Tree Bucket、Straw Bucket）。其中，uniform，tree和list擁有較快的計算速度，但面對集群資源的變動時，使用這三種算法會帶來較多非必要的數據遷移。因此，通常采用Straw類型來實現數據存儲分布。當CRUSH在執行規則時，依據集群的CRUSH map，利用bucket節點所設定的偽隨機算法選出一個該bucket下的item。示例性的，其將bucket算法的輸入值x與該item編號一起輸入rjenkins1哈希算法得到輸出值,選取最大數值對應的item作為選中的項目。

在實現本發明的過程中，發明人發現如下技術問題：上述straw算法在數據遷移問題上的表現雖然更優秀，但其計算過程復雜，致使時間復雜度較高，在對集群性能有較高要求時很難達到相應的需求。

發明內容

本發明實施例提供了一種基于CEPH的元素選擇方法、裝置、服務器備及存儲介質，以解決現有技術中無法針對特定存儲池對OSD進行均衡分布item的技術問題。

第一方面，本發明實施例提供了一種基于CEPH的元素選擇方法，包括：

計算CRUSH_HASH輸入參數的乘積結果，所述CRUSH_HASH輸入參數，包括：bucket的x、bucket的id和選擇的次數r；

將所述乘積結果作為隨機數種子，利用MT19937算法生成與所述bucket包括的item數量相對應的32位的偽隨機數rand；

計算所述偽隨機數與其所對應的item的權重比值的乘積，根據所述乘積結果確定選中的item。

第二方面，本發明實施例還提供了一種基于CEPH的多存儲池的數據分布裝置，包括：

計算模塊，用于計算CRUSH_HASH輸入參數的乘積結果，所述CRUSH_HASH輸入參數，包括：bucket的x、bucket的id和選擇的次數r；

偽隨機數生成模塊，用于將所述乘積結果作為隨機數種子，利用MT19937算法生成與所述bucket包括的item數量相對應的32位的偽隨機數rand；

選擇模塊，用于計算所述偽隨機數與其所對應的item的權重比值的乘積，根據所述乘積結果確定選中的item。