[發明專利]一種分布式存儲系統的小文件讀寫性能測試方法及裝置

有效

• 申請號: 201710867038.2
• 申請日: 2017-09-22
• 公開（公告）號: CN107480039B
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 安祥文
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F16/182
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本發明實施例公開了一種分布式存儲系統的小文件讀寫性能測試方法、裝置、設備及計算機可讀存儲介質。其中，方法包括接收用戶輸入的性能測試信息，根據性能測試信息創建多個執行線程，利用各執行線程同時通過調用CEPH分布式存儲系統的動態庫中的接口，根據性能測試信息對CEPH分布式存儲系統中進行讀寫操作，并記錄各線程每次讀寫完成一次小文件的時間及相應小文件的大小；根據性能測試信息、記錄的信息計算各線程讀寫小文件的總數據量、總時間及總文件個數，以用于衡量分布式存儲系統的小文件讀寫性能。避免了CEPH分布式存儲系統小文件讀寫性能測試受客戶端或協議的干擾，提高了CEPH分布式存儲系統小文件讀寫性能測試的準確性。

技術領域

本發明實施例涉及分布式存儲技術領域，特別是涉及一種分布式存儲系統的小文件讀寫性能測試方法、裝置、設備及計算可讀機存儲介質。

背景技術

分布式存儲系統，將數據分散存儲在多臺獨立的設備上。傳統的網絡存儲系統采用集中的存儲服務器存放所有數據，存儲服務器成為系統性能的瓶頸，同時存在著可靠性和安全性隱患，不能滿足大規模存儲應用的需要。分布式網絡存儲系統采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，不但可提高系統的可靠性、可用性和存取效率，還易于擴展。

CEPH為一種擴展性高、可靠性高、性能高的分布式存儲系統，支持文件系統，塊存儲，對象存儲；借助于OpenStack快速的發展和其開源特性，吸引了越來越多的開發者在生產環境實踐和探索。CEPH依靠其提供的統一存儲系統，被廣泛應用于云數據中心建設中。

在CEPH分布式存儲系統中，大多數數據存儲時為低于1M的小文件，例如在動漫場景中，且小文件的數量較多，那么對處理小文件性能進行測試和調試，為CEPH分布式存儲系統的關鍵的一環。

在對CEPH分布式存儲系統進行讀寫時，一般通過客戶端進行讀寫，例如fuse，還可通過協議進行掛載，例如samba、cifs等。由于客戶端和協議性能的限制，很難對分布式集群進行壓力測試，即使進行測試，測試結果中會摻雜客戶端和協議的影響因素，無法準確判斷CEPH分布式存儲系統的讀寫性能。

鑒于此，如何在對CEPH分布式存儲系統的小文件讀寫性能進行測試時排除客戶端和協議的影響，獲得準確的小文件讀寫性能測試結果，是本領域技術人員亟待解決的問題。

發明內容

本發明實施例的目的是提供一種分布式存儲系統的小文件讀寫性能測試方法、裝置、設備及計算可讀機存儲介質，以解決客戶端與協議掛載對CEPH分布式存儲系統集群性能的干擾的問題，從而提高CEPH分布式存儲系統的小文件讀寫性能測試的準確性。

為解決上述技術問題，本發明實施例提供以下技術方案：

本發明實施例一方面提供了一種分布式存儲系統的小文件讀寫性能測試方法，包括：

接收用戶輸入的性能測試信息，所述性能測試信息包括待測小文件的參數信息；

根據所述性能測試信息創建多個執行線程，利用各執行線程同時通過調用CEPH分布式存儲系統的動態庫中的接口，根據所述性能測試信息對所述CEPH分布式存儲系統中進行讀寫操作，并記錄各執行線程每次讀寫完成一次小文件的時間及相應小文件的大小；

根據所述性能測試信息、記錄的信息計算各執行線程讀寫小文件的總數據量、總時間及總文件個數，以用于衡量所述CEPH分布式存儲系統的小文件讀寫性能。

可選的，所述性能測試信息包括：

待測小文件的數量、大小范圍、讀寫方式、線程數；

所述待測小文件的讀寫方式包括順序讀寫或隨機讀寫。

可選的，所述根據所述性能測試信息創建多個執行線程為：