[發明專利]一種分攤減輕數據中心服務器任務的方法及系統

在審

• 申請號: 201410394960.0
• 申請日: 2014-08-12
• 公開（公告）號: CN104158875A
• 公開（公告）日: 2014-11-19
• 發明（設計）人: 景蔚亮;陳邦明
• 申請（專利權）人: 上海新儲集成電路有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 上海申新律師事務所 31272
• 代理人: 吳俊

技術領域

本發明涉及一種分攤減輕數據中心服務器任務的方法，尤其是涉及一種基于存儲網絡中的微處理器來分攤減輕數據中心服務器任務的方法及系統。

背景技術

隨著云時代的來臨，大數據(big?data)一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產生的海量數據，并命名與之相關的技術發展與創新。數據正在迅速膨脹并變大，它決定著企業的未來發展，雖然很多企業可能并沒有意識到數據爆炸性增長帶來問題的隱患，但是隨著時間的推移，人們將越來越多的意識到數據對企業的重要性。正如《紐約時報》2012年2月的一篇專欄中所稱，“大數據”時代已經降臨，在商業、經濟及其他領域中，決策將日益基于數據和分析而作出，而并非基于經驗和直覺。大數據分析常和云計算聯系到一起，因為實時的大型數據集分析需要像Map?Reduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。截止到2012年，數據量已經從TB(1024GB＝1TB)級別躍升到PB(1024TB＝1PB)、EB(1024PB＝1EB)乃至ZB(1024EB＝1ZB)級別。國際數據公司(IDC)的研究結果表明，2008年全球產生的數據量為0.49ZB，2009年的數據量為0.8ZB，2010年增長為1.2ZB，2011年的數量更是高達1.82ZB，相當于全球每人產生200GB以上的數據。而到2012年為止，人類生產的所有印刷材料的數據量是200PB，全人類歷史上說過的所有話的數據量大約是5EB。

而目前科研所關心的是如何從如此巨大的數據中查詢或者搜索到用戶關心的有價值數據。傳統用戶查詢信息的結構圖如圖1所示。用戶通過個人計算機向網絡中發送數據請求，數據中心服務器收到命令開始從存儲網絡中查詢和搜索用戶所需要的數據信息。我們知道，處理器只能直接處理內存中的數據信息，對于如此巨大的數據量，先要從存儲網絡中的存儲器中轉存至服務器的內存中，然后服務器的處理器對這些信息進行數據處理和操作，再將結果返回至客戶端。顯然，從存儲網絡導入服務器中的數據信息是遠遠大于服務器返回至用戶客戶端的數據信息的。對于日益龐大的數據系統來說，處理器處理數據的速率瓶頸是存儲網絡向服務器內存中導入數據的限制，因為不論是何種存儲器，例如傳統的磁盤、固態硬盤、閃存，以及網絡附屬存儲(NAS，Network?Attached?Storage，一種專用的數據存儲服務器)、直接連接存儲(DAS，Direct?Attached?Storage，即外置存儲設備通過連接電纜直接連到服務器上的一種存儲結構)或獨立磁盤冗余陣列(RAID，Redundant?Array?of?Independent?Disks，讓多個獨立的硬盤通過不同方式組合成一個硬盤組，硬盤組的性能較單個硬盤在性能上有大幅度的提升)，對其數據讀寫速率要遠遠小于對內存數據的讀寫速率。目前，為了提高服務器處理器處理數據的速度，可采用IMC(IMC，In?Memory?Computation)技術來提高處理速度，該技術是通過增加內存的容量，從而可以一次性導入更多的數據量，從而加快處理器處理數據的速率。這種方法固然可以加快數據處理的速度，然而對于服務器來說，其可配置的內存容量是有上限的，如果容量達到上限，唯一的辦法就是增加服務器的數量，顯然成本代價比較高，并且由于內存是易失性的處理器，需要定時刷新，因而功耗也非常大。

如此龐大的數據庫中用戶真正感興趣的信息往往只是冰山一角，處理器大部分時間在搜索和查詢那些用戶真正需要的數據，這些功能操作并非需要服務器處理器的ALU(Arithmetic?Logic?Unit，算術邏輯單元)參與，可以說，服務器處理器大部分時間都在被大材小用，存在著性能浪費。我們知道，在存儲網絡中也存在著大量的微處理器，不論是磁盤、固態硬盤、閃存，還是NAS、RAID等，其內部都配置有微處理器，它們的任務就是對存儲單元進行管理和控制，例如損耗均衡、模塊選擇，錯誤檢查糾錯，數據讀寫等等。有些存在于存儲網絡中的微處理器在性能上甚至不亞于一些個人計算機的處理器，相比服務器的處理器來說，它們的集成工藝節點較高，因而功耗也較低，成本也更低，而且在大多數時候，即并不需要對存儲器進行大量寫操作時，這些微處理器是處于空閑狀態的。

綜上所述，存儲網絡中的微處理器并沒有得到充分的利用，進而造成性能的浪費。

發明內容

根據上述問題，本發明提供了一種分攤減輕數據中心服務器任務的方法，其中，包括如下步驟：

步驟S1：用戶通過電子終端設備向網絡中的數據中心服務器發送數據請求指令；