[發明專利]一種基于云海Insight集群壓縮負載方法及系統

在審

• 申請號: 201911150529.0
• 申請日: 2019-11-21
• 公開（公告）號: CN110888738A
• 公開（公告）日: 2020-03-17
• 發明（設計）人: 申曉青
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 劉雪萍

本發明涉及一種基于云海Insight集群壓縮負載方法及系統，包括以下步驟：S1：配置CPU的閾值參數，并使配置的閾值參數生效；S2：獲取當前服務器的CPU負載信息；S3：獲取集群的CPU負載信息；S4:比較步驟S1中CPU閾值、步驟S2中的CPU負載值以及步驟S3中的集群的CPU負載值，在三者中選擇最小值作為預警閾值；S5：執行FPGA壓縮解壓縮服務。

技術領域

本發明屬于壓縮負載技術領域，具體涉及一種基于云海Insight集群壓縮負載方法及系統。

背景技術

在大數據應用生產環境下，用戶為了提升傳輸速率，對大量數據文件進行了壓縮操作。然大量的壓縮任務會給CPU增加負載量，若存在文件并發壓縮、耗時長，會占用大量的CPU，導致其他Yarn任務掛起，甚至進程鎖死或者失敗，發生不必要的事故。此為現有技術中存在的缺陷和不足。

有鑒于此，本發明提供一種基于云海Insight集群壓縮負載方法及系統；以解決現有技術中存在的上述缺陷和不足。

發明內容

針對現有技術中存在的由于大量數據文件的壓縮，導致CPU解壓縮的負載量增加，繼而導致進程鎖死或者失敗的情況；本發明提供一種基于云海Insight集群壓縮負載方法及系統，以解決上述技術問題。

為實現上述目的，本發明給出以下技術方案：

第一方面，本發明提供一種基于云海Insight集群壓縮負載方法，包括以下步驟：

S1：配置CPU的閾值參數，并使配置的閾值參數生效；具體的步驟如下：

在/etc/profile中配置閾值參數并使其生效，配置格式示例：

CPU_THREAHOLD＝70；70表示CPU閾值為70％；

VAR_FPGA_OBJ＝cluster；可配置為空，也可配置native、cluster、none，配置除此之外的配置表示不啟動FPGA壓縮功能。

S2：獲取當前服務器的CPU負載信息；

通過服務器指令top獲取當前服務器的CPU負載量的信息，并將獲取到的CPU負載信息賦值予Native_cpuinfo；

S3：獲取集群的CPU負載信息；

通過云海Insight平臺提供的restful接口獲取集群CPU負載量信息，并將獲得到的集群CPU負載信息賦值予Cluster_cpuinfo；本發明提供以下代碼予以實現：

S4:比較步驟S1中CPU閾值、步驟S2中的CPU負載值以及步驟S3中的集群的CPU負載值，在三者中選擇最小值作為預警閾值；

S5：執行FPGA壓縮解壓縮服務；執行./ifpga-server或開啟VAR_FPGA_OBJ開啟FPGA壓縮解壓縮服務。

第二方面，本發明提供一種基于云海Insight集群壓縮負載系統，包括：

CPU閾值配置模塊，配置CPU的閾值參數，并使配置的閾值參數生效；在/etc/profile中配置閾值參數并使其生效，配置格式示例：

CPU_THREAHOLD＝70；70表示CPU閾值為70％；

VAR_FPGA_OBJ＝cluster；可配置為空，也可配置native、cluster、none，配置除此之外的配置表示不啟動FPGA壓縮功能。