[發明專利]任務管線執行方法、裝置及電子設備

有效

• 申請號: 202010401618.4
• 申請日: 2020-05-13
• 公開（公告）號: CN111625326B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 白戈;王長虎
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F9/4401;G06F9/445;G06F9/455
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 車英慧

本公開實施例中提供了一種任務管線執行方法、裝置及電子設備，屬于數據調度，該方法包括：在任務容器中設置與主進程隔離設置的多個子進程，每個子進程用于執行一個管線任務；在獲取到主進程相關的待執行任務之后，從所述多個子進程中選擇一個目標子進程，所述目標子進程用于運行所述待執行任務；在所述目標子進程中的待執行任務執行完成之后，按照預設的策略執行與所述目標子進程相關的關聯子進程中的任務；在所述容器中所有的子進程中的任務執行完畢之后，釋放所述所有的子進程在執行任務的過程中所占用的系統資源。通過本公開的處理方案，能夠提高任務管線的執行效率。

技術領域

本公開涉及數據調度，尤其涉及一種任務管線執行方法、裝置及電子設備。

背景技術

任務管線的實現有兩種不同的方法，一種是松耦合的，另一種是緊耦合的。松耦合是指每一個任務運行在一個獨立的容器中，當任務管線的一個任務執行完畢后，會殺死容器，然后啟動另一個容器運行下一個任務。緊耦合是指所有任務由同一個主進程調度。緊耦合方式的好處是任務管線執行效率高，所有任務運行在同一個容器內，不會有頻繁啟動容器的開銷。緊耦合方式的問題是python腳本存在內存泄漏的問題，且python的模塊不能卸載干凈。如果兩個任務存在重名但功能不完全相同的模塊(比如是同一個工具的不同版本)，任務將無法正常執行。

發明內容

有鑒于此，本公開實施例提供一種任務管線執行方法、裝置及電子設備，以至少部分解決現有技術中存在的問題。

第一方面，本公開實施例提供了一種任務管線執行方法，包括：

在任務容器中設置與主進程隔離設置的多個子進程，每個子進程用于執行一個管線任務；

在獲取到主進程相關的待執行任務之后，從所述多個子進程中選擇一個目標子進程，所述目標子進程用于運行所述待執行任務；

在所述目標子進程中的待執行任務執行完成之后，按照預設的策略執行與所述目標子進程相關的關聯子進程中的任務；

在所述容器中所有的子進程中的任務執行完畢之后，釋放所述所有的子進程在執行任務的過程中所占用的系統資源。

根據本公開實施例的一種具體實現方式，所述在任務容器中設置與主進程隔離設置的多個子進程之前，所述方法包括：

在喚醒主進程喚醒之后，判斷是否存在容器配置文件；

若存在，則進一步基于所述容器系統配置文件，判斷所述任務容器是否存在；

若不存在，則主進程創建容器設立子進程，利用所述容器設立子進程創建所述任務容器；

若存在，則主進程將包裝好的啟動消息發送給任務啟動子進程，任務啟動子進程解包發送過來的消息，得到啟動容器消息實體，開始啟動所述任務容器。

根據本公開實施例的一種具體實現方式，所述在任務容器中設置與主進程隔離設置的多個子進程，包括：

設置所述任務容器的內核資源隔離參數，更新配置文件；

根據更新后的配置文件開啟資源隔離機制，設置父子進程隔離屬性；

創建任務容器子進程，所述子進程用于任務進程實體加載到子進程中。

根據本公開實施例的一種具體實現方式，所述在獲取到主進程相關的待執行任務之后，從所述多個子進程中選擇一個目標子進程，包括：

獲取所述主進程需要執行的任務列表；

確定所述任務列表中每個任務的執行順序；

基于所述執行順序，將確定所述多個子進程的執行順序；

基于所述子進程的執行順序，確定與當前任務匹配的目標子進程。