[發明專利]一種數據處理方法、裝置和系統

有效

• 申請號: 201410154051.X
• 申請日: 2014-04-17
• 公開（公告）號: CN105022586B
• 公開（公告）日: 2018-06-05
• 發明（設計）人: 于杰;高從文;隋琪
• 申請（專利權）人: 中國移動通信集團公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F11/10
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郭潤湘

本發明公開了一種數據處理方法、裝置和系統，用以解決現有技術中本地磁盤陣列的磁盤利用率較低的問題。該方法包括：本地獨立磁盤冗余陣列RAID卡向下掛的本地磁盤陣列中的第一本地磁盤寫入數據后，讀取用于計算所述第一本地磁盤的校驗信息的全部數據；按照預先設置的校驗算法對讀取的全部數據進行校驗計算，生成第一校驗信息；將所述第一校驗信息發送給網絡RAID卡，指示所述網絡RAID卡將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中；其中，所述本地RAID卡和所述網絡RAID卡位于同一局域網中的不同存儲設備中。

技術領域

本發明涉及業務支撐技術領域，尤其涉及一種數據處理方法、裝置和系統

背景技術

獨立磁盤冗余陣列（Redundant Arrays of Inexpensive Disks，RAID）簡稱磁盤陣列，是由很多價格較便宜的磁盤，組合成一個容量巨大的磁盤組，利用個別磁盤提供數據所產生加成效果提升整個磁盤系統效能。利用這項技術，將數據切割成許多區段，分別存放在各個磁盤上。

除此之外，一般的磁盤陣列都具有數據校驗功能，其中數據校驗功能是在本地數據發生損壞后，利用校驗信息可以使損壞的數據得以恢復，從而保證本地數據的安全性。

目前校驗信息和本地數據都是存儲在本地磁盤中，這樣就會大量浪費本地存儲空間。比如在大規模并行處理計算機（Massive Parallel Processing，MPP）數據庫集群系統中，如果采用四個磁盤的RAID5，那么校驗信息要占總存儲空間的四分之一。如果說需要存放300T的數據，那么本地集群需要有400T的存儲空間。假如說每個磁盤可以存儲1T的數據，那么就需要400個磁盤來滿足要求。但是MPP數據庫同時對磁盤的數量有嚴格的要求，如果說此MPP數據庫超過300個磁盤集群的性能會嚴重下降或者說機柜只能放置300個磁盤，此時400個磁盤的話就不得不采用兩個集群，這樣集群的性能也會造成很嚴重的影響。

發明內容

本發明實施例提供一種數據處理方法、裝置和系統，用以解決現有技術中本地磁盤陣列的磁盤利用率較低的問題。

本發明實施例采用以下技術方案：

本發明實施例提供了一種數據處理方法，包括：

本地獨立磁盤冗余陣列RAID卡向下掛的本地磁盤陣列中的第一本地磁盤寫入數據后，讀取用于計算所述第一本地磁盤的校驗信息的全部數據；

按照預先設置的校驗算法對讀取的全部數據進行校驗計算，生成第一校驗信息；

將所述第一校驗信息發送給網絡RAID卡，指示所述網絡RAID卡將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中；其中，所述本地RAID卡和所述網絡RAID卡位于同一局域網中的不同存儲設備中。

可選的，將所述第一校驗信息發送給網絡RAID卡之前，所述方法還包括：

根據預先設置的所述本地磁盤陣列中的本地磁盤和所述網絡磁盤陣列中的網絡磁盤之間的映射關系，確定所述第一本地磁盤對應的第一網絡磁盤；則

將所述第一校驗信息發送給所述網絡RAID卡，指示所述網絡RAID卡將所述第一校驗信息存儲在其下掛的網絡磁盤陣列中，具體包括：

將所述第一校驗信息和所述第一網絡磁盤的標識發送給所述網絡RAID卡，指示所述網絡RAID卡根據所述第一校驗信息對所述第一網絡磁盤進行更新。

可選的，所述方法還包括：

當所述本地磁盤陣列中的第二本地磁盤存儲的數據損壞時，根據所述映射關系，確定所述第二本地磁盤對應的第二網絡磁盤；

向所述網絡RAID卡發送獲取請求，所述獲取請求中攜帶所述第二網絡磁盤的磁盤標識，以便所述網絡RAID卡能夠從所述第二網絡磁盤中獲取第二校驗信息并發送給所述本地RAID卡；