[發(fā)明專利]基于微處理器系統(tǒng)調(diào)度實(shí)現(xiàn)冷數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011502277.6
• 申請(qǐng)日: 2020-12-18
• 公開(kāi)（公告）號(hào): CN112612414B
• 公開(kāi)（公告）日: 2022-06-17
• 發(fā)明（設(shè)計(jì)）人: 黃藝海;甘晨
• 申請(qǐng)（專利權(quán)）人: 杭州前云數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06;G06F9/4401;G06F1/3234;G06F1/3221
• 代理公司: 北京科億知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11350
• 代理人: 湯東鳳

本發(fā)明涉及一種基于微處理器系統(tǒng)調(diào)度實(shí)現(xiàn)冷數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)。包括硬件系統(tǒng)和軟件系統(tǒng)，軟件系統(tǒng)包括服務(wù)層、調(diào)度層和存儲(chǔ)層。所述的服務(wù)層是實(shí)現(xiàn)一個(gè)高可用性的基于RESTFUL的對(duì)象存儲(chǔ)接口，其包括多個(gè)RESTFUL對(duì)象存儲(chǔ)服務(wù)節(jié)點(diǎn)；所述的存儲(chǔ)層由微處理系統(tǒng)和機(jī)械硬盤形成的存儲(chǔ)節(jié)點(diǎn)構(gòu)成，每個(gè)存儲(chǔ)節(jié)點(diǎn)都有自己的唯一標(biāo)識(shí)uuid和唯一的IP地址，節(jié)點(diǎn)在不提供服務(wù)的時(shí)候能夠進(jìn)入休眠狀態(tài)，同時(shí)在需要讀寫時(shí)又能快速喚醒；所述的調(diào)度層實(shí)現(xiàn)響應(yīng)服務(wù)層發(fā)送來(lái)的請(qǐng)求，并對(duì)后端的存儲(chǔ)層進(jìn)行調(diào)度。本發(fā)明能有效滿足當(dāng)前歷史數(shù)據(jù)的容量伸縮和成本低廉的需求。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于微處理器系統(tǒng)調(diào)度實(shí)現(xiàn)冷數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)。

背景技術(shù)

大數(shù)據(jù)現(xiàn)在已經(jīng)無(wú)處不在，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。各行各業(yè)的企業(yè)或者部門都希望利用大數(shù)據(jù)挖掘自身更大的價(jià)值，那么利用數(shù)據(jù)的第一步就是存儲(chǔ)數(shù)據(jù)，因此伴隨著大數(shù)據(jù)的誕生也讓存儲(chǔ)進(jìn)入了一個(gè)高速發(fā)展期。

對(duì)于未來(lái)存儲(chǔ)趨勢(shì)，Gartner認(rèn)為，在企業(yè)數(shù)字化和全球化趨勢(shì)下，數(shù)據(jù)的快速增長(zhǎng)使得企業(yè)IT面臨新的挑戰(zhàn)。受此影響，分布式存儲(chǔ)成為海量非結(jié)構(gòu)化數(shù)據(jù)的首選平臺(tái)。用戶非結(jié)構(gòu)化數(shù)據(jù)以同比30％～60％的勢(shì)頭增長(zhǎng)，企業(yè)需要具備擴(kuò)展性、靈活性、自動(dòng)化和編程訪問(wèn)、自我修復(fù)能力的云端基礎(chǔ)設(shè)施。從部署的數(shù)量和容量來(lái)看，基于分布式文件系統(tǒng)和對(duì)象存儲(chǔ)的存儲(chǔ)基礎(chǔ)設(shè)施系統(tǒng)比以往任何時(shí)候增長(zhǎng)得更快。

分布式存儲(chǔ)最早是由谷歌提出的，其目的是通過(guò)廉價(jià)的服務(wù)器來(lái)提供使用與大規(guī)模，高并發(fā)場(chǎng)景下的文件訪問(wèn)問(wèn)題。之后，亞馬遜公司開(kāi)發(fā)向公眾提供了高可用性的云存儲(chǔ)服務(wù)(主要是以對(duì)象接口提供)。隨后，各大存儲(chǔ)廠商也提供了分布式存儲(chǔ)和對(duì)象存儲(chǔ)的產(chǎn)品，也有很多運(yùn)營(yíng)商加入到提供云存儲(chǔ)服務(wù)的行列里面來(lái)。

分布式存儲(chǔ)和對(duì)象存儲(chǔ)最大的優(yōu)點(diǎn)就是：1、可以實(shí)現(xiàn)去中心化，用一致性hash算法，讓集群中每一個(gè)節(jié)點(diǎn)都是可以對(duì)外提供服務(wù)的，提高了存儲(chǔ)的可用性，避免了單點(diǎn)故障。2、冗余策略可以自由選擇，從三副本到糾刪碼，可以提供不同冗余度的數(shù)據(jù)保護(hù)機(jī)制。3、可以動(dòng)態(tài)橫向擴(kuò)展，不光可以擴(kuò)展容量，還可以擴(kuò)展并發(fā)訪問(wèn)的性能，讓存儲(chǔ)建設(shè)節(jié)約很多前期成本。

分布式存儲(chǔ)和對(duì)象存儲(chǔ)同時(shí)也存在著弱點(diǎn)，主要就是由于所有存儲(chǔ)節(jié)點(diǎn)都是由PC服務(wù)器組成，因此，節(jié)點(diǎn)的耗電量就成了所有云存儲(chǔ)商或者大型對(duì)象存儲(chǔ)用戶面臨的一個(gè)重要問(wèn)題，而且不光是節(jié)點(diǎn)本身耗電量，由此帶來(lái)的散熱也需要制冷的耗電能耗來(lái)降溫。

當(dāng)大數(shù)據(jù)應(yīng)用越來(lái)越廣泛，那么很多的歷史數(shù)據(jù)有著歸檔和低頻使用保存的需求。因?yàn)樵诖髷?shù)據(jù)時(shí)代，往往很多歷史數(shù)據(jù)作為將來(lái)分析可能會(huì)用到的數(shù)據(jù)需要被保存，但是由于他們被使用的頻率相對(duì)很低，而且容量又在急劇上升，所以需要一個(gè)比較低廉和容易擴(kuò)展的方式進(jìn)行保存。

上述的分布式存儲(chǔ)和對(duì)象存儲(chǔ)在硬件形式上已經(jīng)滿足了容易擴(kuò)展和建設(shè)成本低廉的需求，但后期的電量使用會(huì)是一個(gè)巨大的負(fù)擔(dān)。根據(jù)IDC的統(tǒng)計(jì)，存儲(chǔ)的硬件成本以五年折舊計(jì)算，只占總投入成本的百分之二十左右，而其他成本都是能耗成本。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)存在的的缺點(diǎn)，提供一種基于微處理器系統(tǒng)調(diào)度實(shí)現(xiàn)冷數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，能有效滿足當(dāng)前歷史數(shù)據(jù)的容量伸縮和成本低廉的需求。

為此，本發(fā)明采取如下的技術(shù)方案：基于微處理器系統(tǒng)調(diào)度實(shí)現(xiàn)冷數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，其特征在于包括硬件系統(tǒng)和軟件系統(tǒng)，硬件系統(tǒng)包括微處理系統(tǒng)，系統(tǒng)支持接入多個(gè)硬盤，并支持硬盤休眠和系統(tǒng)深度休眠，同時(shí)支持通過(guò)以太網(wǎng)口進(jìn)行喚醒系統(tǒng)，軟件系統(tǒng)包括服務(wù)層、調(diào)度層和存儲(chǔ)層。

所述的服務(wù)層是實(shí)現(xiàn)一個(gè)高可用性的基于RESTFUL的對(duì)象存儲(chǔ)接口，其包括多個(gè)RESTFUL對(duì)象存儲(chǔ)服務(wù)節(jié)點(diǎn)，當(dāng)被選中的服務(wù)節(jié)點(diǎn)開(kāi)始響應(yīng)用戶的RESTFUL接口請(qǐng)求時(shí)，首先獲取操作方法，是寫或讀操作，其次獲取存儲(chǔ)對(duì)象的名稱和此次操作的具有唯一性的用戶名，最后緩存寫操作內(nèi)容或者請(qǐng)求讀內(nèi)容；