[發(fā)明專(zhuān)利]一種海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)系統(tǒng)和管理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201310015972.3
• 申請(qǐng)日: 2013-01-15
• 公開(kāi)（公告）號(hào): CN103092952A
• 公開(kāi)（公告）日: 2013-05-08
• 發(fā)明（設(shè)計(jì)）人: 莫德壽
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳市連用科技有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

本發(fā)明涉及通信領(lǐng)域，尤其涉及一種海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)系統(tǒng)和管理方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)的高速普及，各種終端和桌面系統(tǒng)，比如智能手機(jī)、PAD、筆記本、桌面電腦等設(shè)備越來(lái)越多，造成系統(tǒng)數(shù)據(jù)生產(chǎn)越來(lái)越快，呈幾何級(jí)膨脹態(tài)勢(shì)，長(zhǎng)期下來(lái)，這些數(shù)據(jù)生產(chǎn)系統(tǒng)上積累的數(shù)據(jù)和文件越來(lái)越多，大量分散在終端和應(yīng)用系統(tǒng)中的各種報(bào)表、資料等文件會(huì)造成生產(chǎn)系統(tǒng)性能越來(lái)越慢，無(wú)法快速有效的查找數(shù)據(jù)，從而只有不斷通過(guò)增加服務(wù)器和存儲(chǔ)設(shè)備來(lái)增加系統(tǒng)性能，成本越來(lái)越高；同時(shí)數(shù)據(jù)的不斷增加，數(shù)據(jù)量過(guò)于龐大，備份越來(lái)越困難，系統(tǒng)在出現(xiàn)故障時(shí)能否恢復(fù)變得越來(lái)越緲茫；雖然有RAID熱備技術(shù)，但增加的設(shè)備特別是硬盤(pán)會(huì)給系統(tǒng)帶來(lái)更多的系統(tǒng)故障點(diǎn)，系統(tǒng)進(jìn)入越來(lái)越難維護(hù)的怪圈。

目前許多企業(yè)提供了使用服務(wù)器進(jìn)行云存儲(chǔ)的解決方案，但是訪問(wèn)速度和存儲(chǔ)容量一直是存儲(chǔ)器存在的一對(duì)固有矛盾，使用傳統(tǒng)的NAS服務(wù)器進(jìn)行文件存儲(chǔ)，存在容量上的限制，需要企業(yè)不斷增加新設(shè)備以應(yīng)對(duì)新增加的數(shù)據(jù)存儲(chǔ)要求和不可預(yù)測(cè)的工作負(fù)載。這將會(huì)導(dǎo)致成本不斷上升，包括設(shè)備實(shí)施、空間占用、能源以及日常IT管理成本，對(duì)存儲(chǔ)的數(shù)據(jù)和文件，目前也沒(méi)有高效的查找需要數(shù)據(jù)的方法。

因此，亟需一種低成本構(gòu)建且效率速度高的海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)系統(tǒng)和管理方法。

發(fā)明內(nèi)容

本發(fā)明的目的之一在于提供一種海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)系統(tǒng)。

本發(fā)明的另一目的在于提供一種針對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行管理的方法。

為了實(shí)現(xiàn)本發(fā)明的第一個(gè)目的，本發(fā)明提供的技術(shù)方案為：提供一種海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)系統(tǒng)，包括：

在線存儲(chǔ)池，由高速存儲(chǔ)陣列組成，實(shí)現(xiàn)各種終端或應(yīng)用系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)高速存儲(chǔ)和訪問(wèn)。

近線歸檔池，由大容量存儲(chǔ)陣列組成，實(shí)現(xiàn)在線存儲(chǔ)池?cái)?shù)據(jù)的定期歸檔和備份。

離線歸檔池，由大容量磁帶庫(kù)組成，實(shí)現(xiàn)近線歸檔池?cái)?shù)據(jù)的定期歸檔和備份。

各類(lèi)終端或應(yīng)用系統(tǒng)，產(chǎn)生和實(shí)際使用非結(jié)構(gòu)化數(shù)據(jù)的設(shè)備。

具體地，所述終端或應(yīng)用系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)通過(guò)本地?cái)?shù)據(jù)傳輸代理模塊實(shí)現(xiàn)數(shù)據(jù)監(jiān)控和傳輸。

具體地，所述終端或應(yīng)用系統(tǒng)及各級(jí)存儲(chǔ)設(shè)備使用文件占位符代表非結(jié)構(gòu)化

數(shù)據(jù)，實(shí)際使用時(shí)，依次從下級(jí)存儲(chǔ)或歸檔設(shè)備透明獲取實(shí)際文件數(shù)據(jù)。

具體地，所述存儲(chǔ)系統(tǒng)對(duì)歸檔的數(shù)據(jù)進(jìn)行全文索引，提供高性能數(shù)據(jù)搜索。

本發(fā)明提供的海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)，包含多級(jí)存儲(chǔ)結(jié)構(gòu)，容量不斷增大，單位容量成本不斷下降，滿足實(shí)際應(yīng)用場(chǎng)景的情況下有效降低了整個(gè)系統(tǒng)的成本，實(shí)際存儲(chǔ)時(shí)，只在某一級(jí)存儲(chǔ)系統(tǒng)中保留實(shí)際存儲(chǔ)內(nèi)容，前面多級(jí)系統(tǒng)中增加對(duì)應(yīng)的文件占位符，有效實(shí)現(xiàn)透明訪問(wèn)，從而節(jié)約位于最前端的終端或應(yīng)用系統(tǒng)中寶貴的存儲(chǔ)空間，擴(kuò)展了實(shí)際可用的存儲(chǔ)空間。

為了實(shí)現(xiàn)本發(fā)明的第二個(gè)目的，本發(fā)明提供的技術(shù)方案為：提供一種針對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行管理的方法，其包括如下步驟：

(1)終端或應(yīng)用系統(tǒng)安裝數(shù)據(jù)傳輸代理模塊，連接遠(yuǎn)程服務(wù)器；

(2)本地文件通過(guò)數(shù)據(jù)代理傳輸模塊傳輸?shù)皆诰€存儲(chǔ)池進(jìn)行保存，本地終端或應(yīng)用系統(tǒng)使用文件占位符代替；

(3)在線存儲(chǔ)池的數(shù)據(jù)根據(jù)數(shù)據(jù)周期定期歸檔到近線歸檔池，近線歸檔池定期歸檔到離線歸檔池；

(4)數(shù)據(jù)傳輸代理模塊實(shí)時(shí)監(jiān)控文件占位符使用情況，實(shí)時(shí)傳回?cái)?shù)據(jù)，實(shí)現(xiàn)透明數(shù)據(jù)訪問(wèn)。

本發(fā)明提供的海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)吸引管理方法，定期將某級(jí)存儲(chǔ)系統(tǒng)中訪問(wèn)不頻繁的數(shù)據(jù)通過(guò)數(shù)據(jù)傳輸代理模塊備份到成本更低的下級(jí)存儲(chǔ)結(jié)構(gòu)，僅保留對(duì)應(yīng)的文件占位符，有效控制了成本，并保證了數(shù)據(jù)的安全。數(shù)據(jù)傳輸代理模塊實(shí)時(shí)監(jiān)控文件占位符，在需要訪問(wèn)數(shù)據(jù)時(shí)，實(shí)時(shí)傳回終端或應(yīng)用系統(tǒng)，實(shí)現(xiàn)透明訪問(wèn)，存儲(chǔ)系統(tǒng)中增加的全文索引，保證了在文件很多的情況下也能實(shí)現(xiàn)快速查找和訪問(wèn)。

總結(jié)上述情況，本發(fā)明提供的海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)和管理方法，提供了統(tǒng)一的基于存儲(chǔ)池的空間管理功能，可以支持PB級(jí)存儲(chǔ)容量和支持?jǐn)?shù)千客戶(hù)端的并發(fā)訪問(wèn)，簡(jiǎn)化了各種不同類(lèi)型存儲(chǔ)設(shè)備的管理，節(jié)約了用于存儲(chǔ)系統(tǒng)的成本和資金支出。

通過(guò)以下的描述并結(jié)合附圖，本發(fā)明將變得更加清晰，這些附圖用于解釋本發(fā)明的實(shí)施例。

附圖說(shuō)明

圖1為本發(fā)明海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。

圖2為本發(fā)明海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)管理方法的流程框圖。

具體實(shí)施方式