[發明專利]存儲文件高負載場景模擬方法、系統、終端及存儲介質

有效

• 申請號: 202010693926.9
• 申請日: 2020-07-17
• 公開（公告）號: CN111966656B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 申勝利
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172;G06F16/25;G06F11/36
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 孫玉營

1.一種存儲文件高負載場景模擬方法，其特征在于，包括：

通過修改服務端參數關閉存儲文件合并功能并增大數據寫入效率；

通過配置分布式數據庫服務端集群的端口和日志路徑增加節點上運行的服務對象數量；

利用分布式數據庫的壓測工具將測試數據從客戶端并發寫入分布式數據庫服務端；

在將所述測試數據全部寫入分布式數據庫的服務端之后，刪除增設的服務對象，并監控存儲文件負載情況；

所述通過修改服務端參數關閉存儲文件合并功能并增大數據寫入效率，包括：

關閉分布式文件系統服務端對同個列組下的存儲文件的合并功能；

關閉分布式文件系統服務端對小存儲文件的合并功能；

增大刷寫到存儲文件的線程數；

降低內存限額，所述內存保存待刷寫至存儲文件的數據；

增大寫緩存比例；

關閉對分布式文件系統的分區的自動分裂功能。

2.根據權利要求1所述的方法，其特征在于，通過配置分布式數據庫服務端集群的節點端口目錄增加節點上運行的服務對象數量，包括：

獲取內存可用容量，確認所述可用容量不低于預設標準容量；

在分布式數據庫服務端的配置目錄中修改數據存儲管理服務端口和日志路徑。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取分布式數據庫的分區數量；

若存儲文件數量未達到預設數量閾值，則利用分布式拷貝命令將已經寫完的表數據目錄復制到臨時目錄中；

將臨時目錄批量導入新建表，所述新建表的分區與現有表相同或僅采用一個分區。

4.一種存儲文件高負載場景模擬系統，其特征在于，包括：

功能設置單元，配置用于通過修改服務端參數關閉存儲文件合并功能并增大數據寫入效率；

服務擴容單元，配置用于通過配置分布式數據庫服務端集群的端口和日志路徑增加節點上運行的服務對象數量；

數據寫入單元，配置用于利用分布式數據庫的壓測工具將測試數據從客戶端并發寫入分布式數據庫服務端；

服務縮容單元，配置用于在將所述測試數據全部寫入分布式數據庫的服務端之后，刪除增設的服務對象，并監控存儲文件負載情況；

所述功能設置單元包括：

第一關閉模塊，配置用于關閉分布式文件系統服務端對同個列組下的存儲文件的合并功能；

第二關閉模塊，配置用于關閉分布式文件系統服務端對小存儲文件的合并功能；

線程設置模塊，配置用于增大刷寫到存儲文件的線程數；

內存設置模塊，配置用于降低內存限額，所述內存保存待刷寫至存儲文件的數據；

比例設置模塊，配置用于增大寫緩存比例；

分裂設置模塊，配置用于關閉對分布式文件系統的分區的自動分裂功能。

5.根據權利要求4所述的系統，其特征在于，所述服務擴容單元包括：

內存監控模塊，配置用于獲取內存可用容量，確認所述可用容量不低于預設標準容量；

目錄設置模塊，配置用于在分布式數據庫服務端的配置目錄中修改數據存儲管理服務端口和日志路徑。

6.根據權利要求4所述的系統，其特征在于，所述系統還包括：

分區獲取單元，配置用于獲取分布式數據庫的分區數量；

目錄復制單元，配置用于若存儲文件數量未達到預設數量閾值，則利用分布式拷貝命令將已經寫完的表數據目錄復制到臨時目錄中；

存儲新建單元，配置用于將臨時目錄批量導入新建表，所述新建表的分區與現有表相同或僅采用一個分區。

7.一種終端，其特征在于，包括：

處理器；

用于存儲處理器的執行指令的存儲器；

其中，所述處理器被配置為執行權利要求1-3任一項所述的方法。

8.一種存儲有計算機程序的計算機可讀存儲介質，其特征在于，該程序被處理器執行時實現如權利要求1-3中任一項所述的方法。