[發明專利]一種基于流水線畫像的任務精準化執行方法與系統

在審

• 申請號: 202210858827.0
• 申請日: 2022-07-21
• 公開（公告）號: CN115291884A
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 景壯;孫樂恬;江燕
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F8/41
• 分類號: G06F8/41;G06F11/36;G06K9/62;G06N20/00
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 郗艷榮

1.一種基于流水線畫像的任務精準化執行方法，其特征在于：將流水線節點按照實際操作內容化分為代碼模塊、構建模塊、測試模塊和部署模塊四個執行模塊，各個執行模塊分別根據自身運行時的資源需求以及耗時情況生成對應的標簽；在流水線執行時，當運行至具有標簽的執行模塊時，根據執行模塊標簽的種類給予相對應的資源分配，從而細化任務的調度，使資源的分配更加精準合理，提高資源的利用效率，同時提升流水線的執行效率。

2.根據權利要求1所述的基于流水線畫像的任務精準化執行方法，其特征在于：包括以下步驟：

步驟S1、流水線模塊劃分

依據流水線的執行邏輯流程，將流水線執行的流程節點劃分為代碼模塊、構建模塊、測試模塊和部署模塊四個執行模塊；

所述代碼模塊完成從代碼倉庫中獲取源代碼的整個流程，其中包括源碼拉取和源碼結構特征掃描；

所述構建模塊完成從源代碼到目標產物的整體過程，包括但不限于編譯與構建鏡像的過程；

所述測試模塊完成源代碼的靜態測試以及目標產物的動態測試過程；

所述部署模塊完成從目標產物到在指定環境提供服務的整體過程，包括但不限于人工確認和腳本執行；

步驟S2、構建流水線畫像

在流水線的執行過程中已劃分的執行模塊形成執行過程信息，將代表流水線特征的信息進行整合作為對當前流水線畫像；

步驟S3、分配流水線模塊標簽

步驟S3.1、構建標簽

根據流水線畫像描述，提出network-consumption、resource-consumption、complicating和artificial四類標簽來精準的控制環境資源的分配，提高流水線執行效率；

步驟S3.2、畫像標簽條件判定

收集樣本，使用K-means聚類處理的方式，將樣本通過機器學習進行自動聚合，最終形成符合當前環境的標簽判定條件。

3.根據權利要求2所述的基于流水線畫像的任務精準化執行方法，其特征在于：所述步驟S2中，作為流水線畫像描述的執行過程信息包括但不限于：代碼階段的調用頻次F₁，代碼階段的執行時長T₁，構建階段的調用頻次F₂，構建階段的執行時長T₂，構建階段拉取依賴所用時長T₃，測試階段的調用頻次F₃，測試階段的執行時長T₄，測試階段包含的種類K₄，部署階段的調用頻次F₄，部署階段的執行時長T₅和部署階段需要人工確認的次數K₅；其中，時長統計所用的單位均為分鐘，頻次/次數統計所用的單位均為次/天。

4.根據權利要求2所述的基于流水線畫像的任務精準化執行方法，其特征在于：所述步驟S3.1中，統計在指定時間內流水線中代碼模塊的使用頻率，以及每條流水線在代碼模塊的執行時間，同時通過對源碼進行掃描，判斷代碼是否需要在線獲取依賴以及獲取依賴時所花費的時間，若發現代碼的編譯過程需要在線獲取依賴，并且所花費時間，以及執行頻率達到自定義閾值，就為代碼打上network-consumption標簽；當執行帶有依賴標簽的流水線時，優先將流水線上的帶有network-consumption標簽的執行模塊節點分配到高帶寬，且帶有緩存的環境節點，以提高下載速度，提高流水線的執行效率。

5.根據權利要求2所述的基于流水線畫像的任務精準化執行方法，其特征在于：所述步驟S3.1中，在構建過程中，統計構建過程所需要使用的時長與頻次，獲取一次構建的執行時長均值；當構建的時長均值大于自定義閾值時，為構建過程打上resource-consumption標簽；當流水線在執行編譯構建時，對于帶有resource-consumption標簽的構建過程給予更多的CPU和內存分配，提高構建的效率，減少構建的時長，提高流水線的執行效率。