[發明專利]一種基于容器的持續集成CI任務處理方法及裝置

有效

• 申請號: 201710428777.1
• 申請日: 2017-06-08
• 公開（公告）號: CN109032769B
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 羅瓊;余兆成;方煒;李海傳;鄭海朋;施帆;陳潤泉;劉兆祥
• 申請（專利權）人: 中國移動通信集團浙江有限公司;中國移動通信集團公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王慶龍;曹杰

本發明提供了一種基于容器的持續集成CI任務處理方法及裝置。該方法包括：解析并發的多個持續集成CI任務，獲取所述各個持續集成CI任務的關聯關系和資源預估信息；根據所述各個持續集成CI任務的關聯關系生成多個持續集成CI流水線隊列，各個持續集成CI流水線隊列中包括多個串行執行的持續集成CI任務；根據各個持續集成CI容器的負荷和所述各個持續集成CI任務的資源預估信息為所述各個持續集成CI流水線隊列的當前持續集成CI任務分配對應的持續集成CI容器。本發明實施例將高并發場景下多條流水線的多個任務合理分發到多個容器中并發執行，合理編排任務執行順序，在相同物理資源的情況下，提高了任務執行效率和容器資源利用率。

技術領域

本發明涉及軟件開發技術領域，具體涉及一種基于容器的持續集成CI任務處理方法及裝置。

背景技術

隨著軟件開發復雜度的不斷提高，團隊開發成員間如何更好地協同工作以確保軟件開發的質量已經成為開發過程中不可回避的問題。持續集成(Continuous Integration,CI)是一種軟件開發實踐，倡導團隊開發成員必須經常集成他們的工作，甚至每天都可能發生多次集成。而每次的集成都是通過自動化的CI任務處理來完成的，包括自動化編譯、發布和測試等，從而更快地發現錯誤，讓團隊能夠更快的開發內聚的軟件。

現有的持續集成CI任務處理方法主要有三種:

如圖1a所示，是現有的一種持續集成CI任務處理系統的架構圖，所有流水線持續集成CI任務處理都是在一臺CI服務器上進行，CI服務器通過監控源碼變更等方式來處理流水線的第一個持續集成CI任務，其余的任務當滿足前置條件時自動觸發。因所有的流水線任務都在一臺CI服務器上執行，當運行中的任務數達到最大執行數后，流水線任務進入等待隊列。單臺CI服務器的能力容易受到磁盤空間、CPU、內存等硬件能力的限制，導致CI任務處理效率低。

如圖1b所示，是現有的另一種持續集成CI任務處理系統的架構圖，CI Master為系統的控制節點，Slave節點負責具體的項目編譯測試等任務執行，可以支持集群化的不同任務處理需求。一個CI Master節點可以關聯多個Slave節點，CI Master節點進行任務配置和調度管理。所有的任務通過預先的配置分配到指定的Slave節點上執行，預先分配的Slave節點一直處于在線狀態。該方法中Slave節點是預先分配的，任務和Slave節點的關聯是預先設置的，在高并發的情況下，存在Slave節點資源調度不合理，Slave節點資源利用率不高等問題。

如圖1c所示，是現有的另一種持續集成CI任務處理系統的架構圖，借助于容器技術，CI Master節點發布持續集成CI任務，將一條流水線的多條任務靈活分派到一個CISlave容器進行處理，保證了CI Slave容器資源的高可用性。但是一條流水線所有持續集成CI任務在同一個CI Slave容器上執行，高并發場景下，多條CI流水線任務需要分派更多的容器資源，任務處理效率低，資源利用率不高。

發明內容

本發明實施例提供一種基于容器的持續集成CI任務處理方法及裝置，用于解決現有技術在高并發場景下資源利用率不高和任務執行效率低的問題。

本發明實施例提供了一種基于容器的持續集成CI任務處理方法，包括：

解析并發的多個持續集成CI任務，獲取所述各個持續集成CI任務的關聯關系和資源預估信息；

根據所述各個持續集成CI任務的關聯關系生成多個持續集成CI流水線隊列，各個持續集成CI流水線隊列中包括多個串行執行的持續集成CI任務；

根據各個持續集成CI容器的負荷和所述各個持續集成CI任務的資源預估信息為所述各個持續集成CI流水線隊列的當前持續集成CI任務分配對應的持續集成CI容器。