[發(fā)明專利]一種存儲設(shè)備及數(shù)據(jù)處理方法

在審

• 申請?zhí)枺?/td>: 201510716920.8
• 申請日: 2015-10-28
• 公開（公告）號: CN105426119A
• 公開（公告）日: 2016-03-23
• 發(fā)明（設(shè)計）人: 景蔚亮;陳邦明
• 申請（專利權(quán)）人: 上海新儲集成電路有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 上海申新律師事務(wù)所 31272
• 代理人: 俞滌炯

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲技術(shù)領(lǐng)域，尤其涉及一種存儲設(shè)備及數(shù)據(jù)處理方法。

背景技術(shù)

數(shù)據(jù)信息時代，互聯(lián)網(wǎng)已成為人們?nèi)粘Ｉ钪胁豢扇鄙俚囊徊糠郑ヂ?lián)網(wǎng)應(yīng)用種類繁多，包括Facebook、MySpace、QQ為代表的社會關(guān)系網(wǎng)絡(luò)、Youtube為代表的視頻共享應(yīng)用以及以Google、Yahoo、Baidu為代表的搜索引擎應(yīng)用等。不斷增長的互聯(lián)網(wǎng)用戶帶來了爆炸式增長的數(shù)據(jù)(視頻、圖片、blog等)。處理這些數(shù)據(jù)的技術(shù)路線從本質(zhì)上可以分為兩個方面：海量數(shù)據(jù)的存儲管理技術(shù)以及針對海量數(shù)據(jù)的處理技術(shù)(日志分析、搜索引擎應(yīng)用等)。

互聯(lián)網(wǎng)龐大的數(shù)據(jù)量使我們想到把并行計算的思想應(yīng)用到商業(yè)集群上，云計算思想應(yīng)運而生。Google是云計算的領(lǐng)軍力量，它使用Hadoop框架每天處理超過20PB的數(shù)據(jù)量。為了能夠處理大量的原始數(shù)據(jù)，Google設(shè)計了一個新的抽象模型-映射歸約(MapReduce)，映射歸約名字來源于這個模型中的兩項核心操作：映射(Map)和歸約(Reduce)，實現(xiàn)流程圖如圖1所示。首先用戶程序所要處理的數(shù)據(jù)31由存儲網(wǎng)絡(luò)中導入并被分成若干片段(split)(這里以6個片段為例，分別為片段321、片段322、片段323、片段324、片段325、片段326)，然后在所有機器(machine)中選出一個作為主機30(master)，即主控制程序，其他的作為由主機分配任務(wù)的從機(workers)即工作程序。主機為空閑的從機分配一個映射任務(wù)，如映射任務(wù)331，將分片的原始數(shù)據(jù)進行映射處理，抽取鍵(key)/值(value)對，將中間數(shù)據(jù)341保存在從機的本地存儲中，并由從機將中間數(shù)據(jù)的位置信息傳給主機30，主機30再將傳遞的數(shù)據(jù)信息分發(fā)給負責歸約任務(wù)的從機，然后從機遠程讀取中間數(shù)據(jù)341、中間數(shù)據(jù)342和中間數(shù)據(jù)343，并對這些鍵/值進行排序，分配了歸約任務(wù)的從機遍歷排序后的中間數(shù)據(jù)，并將同一個鍵對應(yīng)的值傳給用戶定義的歸約函數(shù)351(或歸約函數(shù)352)，進行歸約處理，最后將該區(qū)塊追加到最后的輸出文件36中。映射歸約編程模型的核心思想就是利用簡易的軟件框架，基于它寫出來的應(yīng)用程序能夠運行在由上千個商用機器組成的大型集群上，并以一種可靠容錯的方式并行處理TB級別的海量數(shù)據(jù)。

傳統(tǒng)的在存儲設(shè)備，如圖2所示的是固態(tài)硬盤的內(nèi)部結(jié)構(gòu)圖，主微控制器1一般通過緩存芯片2以加速閃存芯片3陣列的數(shù)據(jù)讀取，提高性能。當系統(tǒng)CPU需要從固態(tài)硬盤中4導入數(shù)據(jù)時，主微控制器1接收到命令并將指定的數(shù)據(jù)從閃存芯片陣列3中讀取出來，并通過對外接口5傳輸給上級系統(tǒng)，主微控制器1并不對數(shù)據(jù)做任何處理。又比如磁盤的內(nèi)部結(jié)構(gòu)如圖3所示，其結(jié)構(gòu)與固態(tài)硬盤相似，包括磁盤6、前置放大器7、讀寫通道8、磁盤主微控制器9、代碼區(qū)和數(shù)據(jù)緩沖區(qū)10、隨動控制和解調(diào)器11、馬達控制器12、馬達13和對外接口14。磁盤陣列，即“獨立磁盤構(gòu)成的具有冗余能力的陣列”。磁盤陣列是由很多價格較便宜的磁盤，組合成一個容量巨大的磁盤組，磁盤陣列有多個端口可以被不同系統(tǒng)或不同端口連接，一個系統(tǒng)連接陣列的不同端口可提升傳輸速度。

如圖4所示的獨立磁盤冗余陣列內(nèi)部結(jié)構(gòu)簡圖，采用性能比磁盤和固態(tài)硬盤中的主微控制器強的獨立磁盤冗余陣列控制器15，例如采用Intel處理器；另外還包括多個磁盤16以及系統(tǒng)接口17。網(wǎng)絡(luò)附屬存儲(NetworkAttachedStorage，NAS)是具備資料存儲功能的裝置，因此也稱為“網(wǎng)絡(luò)存儲器”。它是一種專用數(shù)據(jù)存儲服務(wù)器，因此網(wǎng)絡(luò)附屬存儲內(nèi)部處理器是性能更高的服務(wù)器級別的處理器。所以，當終端系統(tǒng)CPU做一些輕量級的數(shù)據(jù)處理操作時，這些存儲設(shè)備中的主微控制器不在做數(shù)據(jù)處理時都處于空閑狀態(tài)，因此不論對于上級系統(tǒng)CPU還是存儲設(shè)備中的主微控制器，在性能和功耗上都是一種浪費。

從上面的簡單介紹中可以看出，上述由上千個商用機器組成的大型集群所處理的任務(wù)都是由商用機器的CPU來運行處理，而這些任務(wù)都是一些輕量級的無需算術(shù)邏輯運算單元(ArithmeticandLogicUnit，簡稱ALU)大量參與的工作(例如映射任務(wù)和歸約任務(wù))，首先在功耗上是浪費的，其次在性能上也是浪費的(高性能的ALU并不參與大量計算)，因此整個集群的功耗和成本都是很高的。