[發(fā)明專利]一種基于云計(jì)算的自適應(yīng)存儲(chǔ)分層系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011483292.0
• 申請(qǐng)日: 2020-12-15
• 公開（公告）號(hào): CN112559459A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 占紹雄;李揚(yáng);韓卿
• 申請(qǐng)（專利權(quán)）人: 跬云（上海）信息科技有限公司
• 主分類號(hào): G06F16/172
• 分類號(hào): G06F16/172;G06F16/182;G06F16/18;G06F16/14
• 代理公司: 北京知果之信知識(shí)產(chǎn)權(quán)代理有限公司 11541
• 代理人: 卜榮麗

1.一種基于云計(jì)算的自適應(yīng)存儲(chǔ)分層系統(tǒng)，其特征在于，包括數(shù)據(jù)節(jié)點(diǎn)管理模塊、元數(shù)據(jù)管理模塊、自適應(yīng)存儲(chǔ)分層模塊以及預(yù)聚合查詢路由模塊，數(shù)據(jù)節(jié)點(diǎn)管理模塊用于收集存儲(chǔ)集群運(yùn)行情況，按照預(yù)定義的規(guī)則進(jìn)行水平擴(kuò)展和收縮，元數(shù)據(jù)管理模塊用于收集OLAP查詢引擎的查詢命中的模型以及掃描的文件路徑，并對(duì)這些數(shù)據(jù)進(jìn)行聚合和排序，自適應(yīng)存儲(chǔ)分層模塊根據(jù)元數(shù)據(jù)管理模塊維護(hù)的模型命中次數(shù)以及文件掃描次數(shù)的排行列表來(lái)對(duì)文件進(jìn)行分層加載以及預(yù)加載，預(yù)聚合查詢路由模塊根據(jù)模型以及索引在元數(shù)據(jù)庫(kù)中的緩存情況自動(dòng)切換查詢存儲(chǔ)地址。

2.根據(jù)權(quán)利要求1所述的一種基于云計(jì)算的自適應(yīng)存儲(chǔ)分層系統(tǒng)，其特征在于，所述的數(shù)據(jù)節(jié)點(diǎn)管理模塊收集的存儲(chǔ)集群運(yùn)行情況數(shù)據(jù)包括：存儲(chǔ)集群各節(jié)點(diǎn)的容量、存儲(chǔ)集群各節(jié)點(diǎn)已使用容量、存儲(chǔ)集群各節(jié)點(diǎn)緩存文件及其大小。

3.根據(jù)權(quán)利要求1所述的一種基于云計(jì)算的自適應(yīng)存儲(chǔ)分層系統(tǒng)，其特征在于，所述數(shù)據(jù)節(jié)點(diǎn)管理模塊的集群包括存儲(chǔ)集群和計(jì)算集群，存儲(chǔ)集群主要用于存儲(chǔ)數(shù)據(jù)，計(jì)算集群主要用于提供計(jì)算功能，存儲(chǔ)集群和計(jì)算集群均具備緩存功能。

4.根據(jù)權(quán)利要求3所述的一種基于云計(jì)算的自適應(yīng)存儲(chǔ)分層系統(tǒng)，其特征在于，所述的存儲(chǔ)集群包括：內(nèi)存層MEN、固態(tài)硬盤層SSD、硬盤層HDD存儲(chǔ)。

5.根據(jù)權(quán)利要求1所述的一種基于云計(jì)算的自適應(yīng)存儲(chǔ)分層系統(tǒng)，其特征在于，所述的數(shù)據(jù)節(jié)點(diǎn)管理模塊的擴(kuò)展和收縮的規(guī)則是：當(dāng)存儲(chǔ)集群內(nèi)緩存容量小于實(shí)際計(jì)算集群所需容量的20％時(shí)，對(duì)存儲(chǔ)集群進(jìn)行水平擴(kuò)展；當(dāng)存儲(chǔ)集群內(nèi)數(shù)據(jù)過(guò)期或不再使用時(shí)，優(yōu)化數(shù)據(jù)節(jié)點(diǎn)配置，對(duì)存儲(chǔ)集群進(jìn)行收縮。

6.根據(jù)權(quán)利要求1所述的一種基于云計(jì)算的自適應(yīng)存儲(chǔ)分層系統(tǒng)，其特征在于，所述的元數(shù)據(jù)管理模塊通過(guò)連接到OLAP查詢引擎的日志系統(tǒng)，從日志文件中分析出查詢命中的模型及其掃描的文件信息存儲(chǔ)到元數(shù)據(jù)庫(kù)，更新當(dāng)前模型及其掃描文件的次數(shù)順序排行榜。

7.根據(jù)權(quán)利要求1所述的一種基于云計(jì)算的自適應(yīng)存儲(chǔ)分層系統(tǒng)，其特征在于，所述的自適應(yīng)存儲(chǔ)分層模塊的分層加載策略是：將列表中文件分為非常熱、比較熱以及熱三個(gè)層次，對(duì)應(yīng)數(shù)據(jù)節(jié)點(diǎn)上的內(nèi)存層MEN、固態(tài)硬盤層SSD以及硬盤層HDD存儲(chǔ)，根據(jù)預(yù)配置的各層次百分比和集群內(nèi)的各層存儲(chǔ)大小分別將這三層數(shù)據(jù)加載到緩存中。

8.根據(jù)權(quán)利要求1所述的一種基于云計(jì)算的自適應(yīng)存儲(chǔ)分層系統(tǒng)，其特征在于，所述的自適應(yīng)存儲(chǔ)分層模塊的預(yù)加載策略是：每次集群重啟后，將層次為非常熱的部分通過(guò)命令預(yù)加載到內(nèi)存中。

9.根據(jù)權(quán)利要求1所述的一種基于云計(jì)算的自適應(yīng)存儲(chǔ)分層系統(tǒng)，其特征在于，所述的預(yù)聚合查詢路由模塊的自動(dòng)切換查詢存儲(chǔ)地址的策略是：當(dāng)用戶查詢命中模型后，向元數(shù)據(jù)管理模塊詢問(wèn)當(dāng)前模型是否在緩存中，若已緩存，則將加載文件請(qǐng)求重定向到緩存，否則，將直接向源數(shù)據(jù)加載。

10.一種基于云計(jì)算的自適應(yīng)存儲(chǔ)分層方法，其特征在于，所述方法應(yīng)用在上述權(quán)利要求1-7中任一項(xiàng)所述的一種基于云計(jì)算的自適應(yīng)存儲(chǔ)分層系統(tǒng)中，包括以下步驟：

步驟1：查詢請(qǐng)求通過(guò)預(yù)聚合查詢路由模塊提交分布式計(jì)算任務(wù)；

步驟2：預(yù)聚合查詢路由模塊根據(jù)模型以及索引在元數(shù)據(jù)庫(kù)中的緩存情況自動(dòng)切換查詢存儲(chǔ)地址；

步驟3：元數(shù)據(jù)管理模塊用于收集OLAP查詢引擎的查詢命中的模型以及掃描的文件路徑，并對(duì)這些數(shù)據(jù)進(jìn)行聚合和排序；

步驟4：自適應(yīng)存儲(chǔ)分層模塊根據(jù)元數(shù)據(jù)管理模塊維護(hù)的模型命中數(shù)量以及文件掃描數(shù)量排行列表來(lái)對(duì)文件進(jìn)行分層加載以及預(yù)加載；

步驟5：數(shù)據(jù)節(jié)點(diǎn)管理模塊收集存儲(chǔ)集群運(yùn)行情況，按照預(yù)定義的規(guī)則進(jìn)行水平擴(kuò)展和收縮；步驟2、步驟3和步驟4執(zhí)行過(guò)程中均需執(zhí)行步驟5；

步驟6：元數(shù)據(jù)管理模塊將查詢結(jié)果與預(yù)聚合查詢路由模塊的查詢請(qǐng)求匹配后，提交查詢結(jié)果。