[發(fā)明專利]一種基于機(jī)器學(xué)習(xí)和ceph思想的分布式儲(chǔ)存方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201911389335.6
• 申請(qǐng)日: 2019-12-30
• 公開（公告）號(hào): CN111026337A
• 公開（公告）日: 2020-04-17
• 發(fā)明（設(shè)計(jì)）人: 李昕哲;李欣宇;李剛
• 申請(qǐng)（專利權(quán)）人: 中科星圖股份有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 北京科迪生專利代理有限責(zé)任公司 11251
• 代理人: 鄧治平

1.一種基于機(jī)器學(xué)習(xí)和ceph思想的分布式儲(chǔ)存方法，其特征在于：

包括如下步驟：

步驟1：硬盤識(shí)別系統(tǒng)通過采用基于歸一化和支持向量機(jī)的硬盤識(shí)別模型，根據(jù)現(xiàn)有存儲(chǔ)介質(zhì)的特征進(jìn)行存儲(chǔ)介質(zhì)分類，分為不同級(jí)別的多個(gè)等級(jí)；

步驟2：文件識(shí)別系統(tǒng)通過基于文件特征權(quán)值的無監(jiān)督學(xué)習(xí)模型，對(duì)分類錯(cuò)誤的文件的結(jié)果進(jìn)行模型矯正；對(duì)分類正確的文件所需的存儲(chǔ)介質(zhì)等級(jí)進(jìn)行匹配，選擇存儲(chǔ)介質(zhì)使用策略；

步驟3：用戶需要讀寫的文件與儲(chǔ)存介質(zhì)的位置根據(jù)改進(jìn)的CRUSHING算法進(jìn)行映射，根據(jù)映射將文件進(jìn)行分布式儲(chǔ)存。

2.根據(jù)權(quán)利要求1所述的一種基于機(jī)器學(xué)習(xí)和ceph思想的分布式儲(chǔ)存方法，其特征在于：

所述步驟1中，基于機(jī)器學(xué)習(xí)進(jìn)行硬盤識(shí)別，包括:選擇硬盤并獲取硬盤信息，具體包括：是否是固態(tài)、是否為機(jī)械、主控方案、顆粒等級(jí)、出廠日期、硬盤讀寫速度作為識(shí)別特征，計(jì)算特征的均值、標(biāo)準(zhǔn)差進(jìn)行均值歸一化，再通過基于支持向量機(jī)模型訓(xùn)練硬盤類型識(shí)別的識(shí)別模型，利用基于支持向量機(jī)訓(xùn)練的硬盤識(shí)別模型對(duì)硬盤進(jìn)行識(shí)別；所述分為不同級(jí)別的多個(gè)等級(jí)包括分為高、中、低三個(gè)等級(jí)。

3.根據(jù)權(quán)利要求1所述的一種基于機(jī)器學(xué)習(xí)和ceph思想的分布式儲(chǔ)存方法，其特征在于：所述步驟2中，基于文件特征權(quán)值的無監(jiān)督學(xué)習(xí)模型進(jìn)行文件識(shí)別包括：

選取文件：獲取文件大小、文件后綴、文件類型、文件流狀態(tài)、子文件數(shù)目、文件服務(wù)名稱、用戶id、文件附帶信息列表、文件流上下行字節(jié)數(shù)、文件流上下行包數(shù)、文件流上下行包頭字節(jié)數(shù)、文件流上下行負(fù)載字節(jié)數(shù)、文件流上下行包長均值、文件流上下行包長方差、文件流上下行速率、文件流總字節(jié)數(shù)、文件流傳輸起始時(shí)間、文件流到達(dá)時(shí)間、文件流傳輸持續(xù)時(shí)間、丟包率、文件流傳輸時(shí)延帶寬積作為文件類型識(shí)別特征，采用余弦相似度作為距離度量，采用k-means聚類算法進(jìn)行文件類型的聚類得到識(shí)別模型，利用k-means聚類算法得到的識(shí)別模型進(jìn)行文件類型的識(shí)別。

4.根據(jù)權(quán)利要求1所述的一種基于機(jī)器學(xué)習(xí)和ceph思想的分布式儲(chǔ)存方法，其特征在于：

所述步驟3中，改進(jìn)的CRUSHING算法具體為：將所有的硬盤根據(jù)高、中、低等級(jí)分為三組目標(biāo)文件對(duì)象存儲(chǔ)設(shè)備OSD；并且保持每組OSD中各個(gè)硬盤的空間利用程度或剩余磁盤容量相同。

5.根據(jù)權(quán)利要求1所述的一種基于機(jī)器學(xué)習(xí)和ceph思想的分布式儲(chǔ)存方法，其特征在于：

所述步驟3中，文件識(shí)別系統(tǒng)將所要存儲(chǔ)的文件，依據(jù)使用頻率分類，也分為高、中、低三個(gè)等級(jí)，使用頻率最高的文件，存儲(chǔ)的主節(jié)點(diǎn)為性能最高的OSD中的某個(gè)硬盤上，備份節(jié)點(diǎn)為性能最低的OSD中的某個(gè)硬盤上，存兩份備份；使用頻率中等的文件，存儲(chǔ)的主節(jié)點(diǎn)為性能中等的OSD中的某個(gè)硬盤上，備份節(jié)點(diǎn)為性能最低的OSD中的某個(gè)硬盤上，存兩份備份；使用頻率最低的文件，存儲(chǔ)的主節(jié)點(diǎn)為性能最低的OSD中的某個(gè)硬盤上，備份節(jié)點(diǎn)為性能最低的OSD中的某個(gè)硬盤上，存兩份備份。

6.根據(jù)權(quán)利要求5所述的一種基于機(jī)器學(xué)習(xí)和ceph思想的分布式儲(chǔ)存方法，其特征在于：

一個(gè)放置組PG存儲(chǔ)為一個(gè)目標(biāo)文件存儲(chǔ)設(shè)備OSD組，每個(gè)目標(biāo)文件存儲(chǔ)設(shè)備OSD組由三個(gè)上面所述的對(duì)應(yīng)高中低三種級(jí)別的三種目標(biāo)文件存儲(chǔ)設(shè)備OSD組成，包括一個(gè)主存儲(chǔ)兩個(gè)備份。

7.根據(jù)權(quán)利要求1所述的一種基于機(jī)器學(xué)習(xí)和ceph思想的分布式儲(chǔ)存方法，其特征在于：

文件存儲(chǔ)的過程為：首先將待存儲(chǔ)的文件信息識(shí)別后得到文件類型id，并將文件進(jìn)行切塊，根據(jù)文件id，文件類型id，文件切分序號(hào)完成文件與文件塊的映射；通過靜態(tài)Hash函數(shù)計(jì)算文件塊id的Hash值，然后與掩碼進(jìn)行按位相與操作得到文件塊的放置組id，完成文件塊與放置組的映射，得到pgid，其中掩碼為放置組總數(shù)-1。

8.根據(jù)權(quán)利要求7所述的一種基于機(jī)器學(xué)習(xí)和ceph思想的分布式儲(chǔ)存方法，其特征在于：

利用改進(jìn)后的CRUSHING算法，將pgid帶入，得到一組OSD，權(quán)值較高的節(jié)點(diǎn)主要負(fù)責(zé)讀寫，其余權(quán)值較低的負(fù)責(zé)容災(zāi)。