[發明專利]大數據數據治理任務運行方法

有效

• 申請號: 202210435861.7
• 申請日: 2022-04-24
• 公開（公告）號: CN114816750B
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 孫長進;陳萍
• 申請（專利權）人: 江蘇鼎集智能科技股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 武漢華強專利代理事務所(普通合伙) 42237
• 代理人: 康晨

本發明涉及CPU資源分配技術領域，具體涉及大數據數據治理任務運行方法。方法為：構建數據治理應用程序，并部署到無服務器計算平臺中；對所述實時的每個容器CPU資源利用率進行負載跟蹤；獲取最大負載追蹤器序列，并根據其序列值獲取變化度量；根據所述變化度量獲取最優的負載追蹤器序列長度并得到最近指數移動平均數序列；對所述最近指數移動平均數序列利用基于保底機制的線性外推預測法獲取獲取最合適的未來時刻CPU利用率；將上述CPU自動縮放方法進行集成，以使服務器可以動態調整容器CPU資源。本方法具有計算復雜度低的優點，適用于無服務器函數的小型自動縮放，同時保持了良好的預測結果，可以廣泛用于大數據資源服務、互聯網數據服務。

技術領域

本發明涉及CPU資源分配領域，具體涉及大數據數據治理任務運行方法。

背景技術

近些年持續不斷發展的數據分析應用技術在互聯網技術迅猛提高過程中有著更廣泛的應用。我們時刻在產生大量的數據，從就醫到購物，從出行到上課，數據分析產生的結果為我們創造了非常多便利條件，我們更加輕松地獲取有用的信息。這些數據信息以各種形式分布在生活中的各個方面，可能是一段文字、一條語音、一張圖片或是一段視頻。無論以什么形式出現，都需要我們準確地分析并提取有用內容反饋到生活中。因此在這個飛速發展的時代，如何能快速便捷地分析海量數據是至關重要的。

伴隨著新一輪信息技術革命浪潮的出現和大數據時代的到來，大數據已經成為關鍵性生產要素和國家基礎性戰略資源，利用大數據技術手段提升國家治理能力現代化已經成為趨勢。其中無服務器計算是當前云計算領域的熱點技術，可以用來進行數據治理的應用管理，在無服務器計算中，應用程序是在輕量級虛擬化和隔離環境下執行的，例如容器或微虛擬機。通常，它們的內存分配由用戶在部署前設置。其他資源，如CPU，都是由提供者根據內存分配按比例靜態分配的。這會導致利用率不足或節流。前者對供應商產生重大影響，而后者則對客戶產生影響。為了解決這個問題，一個解決方案是通過自動縮放實現動態CPU分配。

發明內容

為了解決上述技術問題，本發明的目的在于提供大數據數據治理任務運行方法，所采用的技術方案具體如下：

本發明一個實施例提供了大數據數據治理任務運行方法，該方法包括以下步驟：

構建數據治理應用程序，將所述數據治理應用程序部署到無服務器計算平臺中，所述無服務器計算平臺包含多個容器；

根據所述無服務器計算平臺獲取實時的每個容器CPU資源利用率；利用指數移動平均法對所述實時的每個容器CPU資源利用率進行負載跟蹤，得到每一時刻的指數移動平均數；

設置最大負載追蹤器長度，根據所述每一時刻的指數移動平均數獲取最大負載追蹤器序列；根據最大負載追蹤器序列中的序列值獲取變化度量；根據所述變化度量獲取最優的負載追蹤器序列長度；根據所述最優的負載追蹤器序列長度獲取最近指數移動平均數序列；對所述最近指數移動平均數序列利用線性外推預測法獲取未來時刻的CPU利用率；

構建保底機制，基于所述保底機制獲取最合適的未來時刻CPU利用率；

將上述CPU自動縮放方法進行集成，以使服務器可以動態調整容器CPU資源。

優選的，所述無服務器計算平臺使用Kubernetes引擎來構建。

優選的，所述實時的每個容器CPU資源利用率的獲取方法為：利用Kubernetes引擎中的cAdvisor進行資源使用的實時監控。

優選的，所述根據最大負載追蹤器序列中的序列值獲取變化度量的方法為：

設置最大負載追蹤器長度，然后獲取當前時刻及前面時刻的指數移動平均值，組成最大負載追蹤器序列；