[發明專利]數據動態分片的存儲方法、裝置和系統

有效

• 申請號: 201710445789.5
• 申請日: 2017-06-14
• 公開（公告）號: CN109085995B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 王海霞;李先緒;陳泳;黃植勤;邱紅飛;吳家隱;鄭文武
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/22;H04L43/0894;H04L43/16
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 王云飛

本發明公開一種數據動態分片的存儲方法、裝置和系統。該方法包括：響應于客戶端發起的訪問請求，進行業務分析，獲取配置管理模板的節點參數和存儲參數；實時采集各存儲節點的網絡帶寬；根據節點參數、存儲參數和各存儲節點的網絡帶寬確定當前文件分片數；根據當前文件分片數對數據進行分片或合并，以便路由控制器訪問各對應存儲節點的數據片。本發明通過引入存儲節點實時可用帶寬為參數，可以動態調整文件分片數，從而提高了存儲節點的I/O性能，提高了數據分片放置和讀取效率。

技術領域

本發明涉及數據存儲領域，特別涉及一種數據動態分片的存儲方法、裝置和系統。

背景技術

隨著信息技術的快速發展，信息系統數據庫中的數據量越來越大。為了滿足大數據量的存儲需求，在多臺服務器上運行的分布式存儲系統得到了廣泛的應用。

在分布式存儲系統中，多臺服務器上分別運行了多個數據庫系統。數據進行存儲時，需要先將數據進行分片(sharding)，再將不同的數據分片交由不同的服務器進行存儲。分片是一種水平擴展(horizontal scaling)的方式，把一個大的數據集分散到多個數據節點上，所有的數據節點將組成一個邏輯上的數據庫來存儲這個大的數據集。分片對用戶(應用層)是透明的，用戶不會知道數據被存放到哪個片服務器上。采用數據分片進行數據存儲，可以突破單節點服務器的I/O能力限制，解決數據庫拓展性的問題。

現有的數據分片技術方案采用固定參數進行設定，或者通過設定文件大小閾值設置分片數，由此會導致存儲系統I/O性能低、數據分片放置和讀取效率低等問題。

發明內容

鑒于以上技術問題，本發明提供了一種數據動態分片的存儲方法、裝置和系統，可以動態調整文件分片數。

根據本發明的一個方面，提供一種數據動態分片的存儲方法，包括：

響應于客戶端發起的訪問請求，進行業務分析，獲取配置管理模板的節點參數和存儲參數；

實時采集各存儲節點的網絡帶寬；

根據節點參數、存儲參數和各存儲節點的網絡帶寬確定當前文件分片數；

根據當前文件分片數對數據進行分片或合并，以便路由控制器訪問各對應存儲節點的數據片。

在本發明的一個實施例中，所述根據節點參數、存儲參數和各存儲節點的網絡帶寬確定當前文件分片數包括：

確定初始文件分片數；

判斷各存儲節點的網絡帶寬之和是否大于等于預定閾值；

若各存儲節點的網絡帶寬之和大于等于預定值，則根據初始文件分片數、預定閾值以及各存儲節點的網絡帶寬之和確定當前文件分片數。

在本發明的一個實施例中，所述根據節點參數、存儲參數和各存儲節點的網絡帶寬確定當前文件分片數還包括：

若各存儲節點的網絡帶寬之和小于預定閾值，則將初始文件分片數作為當前文件分片數。

在本發明的一個實施例中，所述根據初始文件分片數、預定閾值以及各存儲節點的網絡帶寬之和確定當前文件分片數包括：

根據公式

確定當前文件分片數m2，其中，m1為初始文件分片數，K＝k1+k2+…+kn為各存儲節點的網絡帶寬之和，ki為n個存儲節點中第i個存儲節點的網絡帶寬，n為大于1的自然數，Kmax為所有n個存儲節點的網絡帶寬之和的預定閾值。

根據本發明的另一方面，提供一種數據動態分片的存儲裝置，包括：

業務管理模塊，用于響應于客戶端發起的訪問請求，進行業務分析，獲取配置管理模板的節點參數和存儲參數；