[發明專利]大數據數據治理任務運行方法

有效

• 申請號: 202210435861.7
• 申請日: 2022-04-24
• 公開（公告）號: CN114816750B
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 孫長進;陳萍
• 申請（專利權）人: 江蘇鼎集智能科技股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 武漢華強專利代理事務所(普通合伙) 42237
• 代理人: 康晨

1.大數據數據治理任務運行方法，其特征在于，該方法包括以下步驟：

構建數據治理應用程序，將所述數據治理應用程序部署到無服務器計算平臺中，所述無服務器計算平臺包含多個容器；

根據所述無服務器計算平臺獲取實時的每個容器CPU資源利用率；利用指數移動平均法對所述實時的每個容器CPU資源利用率進行負載跟蹤，得到每一時刻的指數移動平均數；

設置最大負載追蹤器長度，根據所述每一時刻的指數移動平均數獲取最大負載追蹤器序列；根據最大負載追蹤器序列中的序列值獲取變化度量，具體為：設置最大負載追蹤器長度，然后獲取當前時刻及前面時刻的指數移動平均值，組成最大負載追蹤器序列；對最大負載追蹤器序列進行波動分解，得到最大負載追蹤器周期分量序列、最大負載追蹤器余項分量序列；并獲取最大負載追蹤器周期分量序列、最大負載追蹤器余項分量序列中每個序列值的對比度、熵；根據最大負載追蹤器周期分量序列、最大負載追蹤器余項分量序列中每個序列值的對比度、熵獲取得到最大負載追蹤器序列中每個序列值的變化度量；

根據所述變化度量獲取最優的負載追蹤器序列長度；根據所述最優的負載追蹤器序列長度獲取最近指數移動平均數序列；對所述最近指數移動平均數序列利用線性外推預測法獲取未來時刻的CPU利用率；

構建保底機制，基于所述保底機制獲取最合適的未來時刻CPU利用率；

對CPU自動縮放方法進行集成，以使服務器可以動態調整容器CPU資源。

2.根據權利要求1所述的大數據數據治理任務運行方法，其特征在于，所述無服務器計算平臺使用Kubernetes引擎來構建。

3.根據權利要求1所述的大數據數據治理任務運行方法，其特征在于，所述實時的每個容器CPU資源利用率的獲取方法為：利用Kubernetes引擎中的cAdvisor進行資源使用的實時監控。

4.根據權利要求1所述的大數據數據治理任務運行方法，其特征在于，所述最大負載追蹤器周期分量序列、最大負載追蹤器余項分量序列中每個序列值的對比度、熵的獲取方法為：

對于分量中的每一個序列值，獲取其左、右相鄰4個的序列值，然后將序列值與左、右相鄰4個的序列值組成一個局部分量序列，然后利用Kmeans算法對該局部分量序列進行分組，根據每個序列值的所屬組的代號，賦值到局部度量序列中的每個序列值上，得到局部分組序列；

根據局部分組序列中每個組的概率計算局部度量序列的熵；

對于局部分組序列進行共現概率計算，度量每兩個相鄰數值對出現的概率，最終可得非重復共現對，基于所述非重復共現對計算對比度：

表示U個分組情況下的非重復共現對的數學排列組合數量，、表示第Z1個非重復共現對的數值，表示第Z1類非重復共現對的在所有非重復共現對中的比例。

5.根據權利要求1所述的大數據數據治理任務運行方法，其特征在于，所述最近指數移動平均數序列的獲取方法為：

采用迭代的方式獲取最優的負載追蹤器長度，此處設置最小負載追蹤器的長度，然后以時間最近為原則，迭代求取長度為最小負載追蹤器的長度到最大負載追蹤器的長度之間每個長度序列的變化度量，選取第一個轉折點時的序列長度作為最優負載追蹤器序列的長度；所述第一個轉折點定義為該序列長度的變化度量小于下一個序列長度的變化度量。

6.根據權利要求1所述的大數據數據治理任務運行方法，其特征在于，所述利用線性外推預測法獲取未來時刻的CPU利用率的方法為：

q為最優負載追蹤器序列的長度，k表示預測步長，分別表示第i時刻、第i-q時刻的指數移動平均值，表示預測的第i+1時刻的CPU利用率。

7.根據權利要求1所述的大數據數據治理任務運行方法，其特征在于，所述基于所述保底機制獲取最合適的未來時刻CPU利用率的方法為：

表示預測最合適的第i+1時刻的CPU利用率，Max為取最大操作，為映射系數，q表示為最優負載追蹤器序列長度，表示最近指數移動平局數序列的第u個值。

8.根據權利要求1所述的大數據數據治理任務運行方法，其特征在于，所述對CPU自動縮放方法進行集成的方式為：自動縮放算法集成到垂直 Pod 自動擴縮容推薦組件中，通過使用自定義自動縮放算法配置垂直 Pod 自動擴縮容，從而使垂直 Pod 自動擴縮容能夠提供一種動態調整容器CPU資源請求大小的機制。