[發明專利]任務處理方法和裝置、圖形任務處理系統以及存儲介質

在審

• 申請號: 202010750648.6
• 申請日: 2020-07-30
• 公開（公告）號: CN111737010A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 何昱夷;毛昊翔;王潤澤;郭娟;鄒曉園
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54;G06T1/20
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 王娟

本公開提供了一種任務處理方法和裝置、圖形任務處理系統以及計算機可讀存儲介質。任務處理方法包括：按照第一預設時間間隔，獲取任務隊列長度，并確定所述任務隊列長度的變化量；基于所獲取的任務隊列長度以及所述任務隊列長度的變化量，確定用于批量處理的預測任務數量；基于所述任務隊列長度以及所述用于批量處理的預測任務數量，動態地確定用于批量處理的任務數量；以及按照所述用于批量處理的任務數量，對所述任務隊列中的任務進行批量處理。

技術領域

本公開涉及計算機領域，更具體地涉及一種任務處理方法和裝置、圖形任務處理系統以及計算機可讀存儲介質。

背景技術

隨著人工智能技術的蓬勃發展，越來越多的人工智能技術得到了落地應用，而基于人工智能技術的實時計算系統往往包含大量的運算。圖形處理單元(GraphicsProcessing Unit，GPU)具有強大的并行運算能力，能夠進行密集型并行計算，因此得到了廣泛的應用。為了充分利用GPU運算能力，往往采用批量處理的系統架構設計，在這種情況下，每次批量處理的規模大小(即，用于批量處理的任務數量，也稱為批量大小，batch-size)會直接影響到對請求執行計算任務的請求的處理時延與系統吞吐量，因此確定合適的批量處理的規模大小是對系統性能進行調優的關鍵。

然而，現有方案一般基于固定的批量大小來對任務進行批量處理，而對于不同的系統負載采用相同的批量大小并不是合適的，這可能會造成運算能力浪費以及帶來針對請求執行任務的請求的較大處理時延。

因此，需要一種能夠根據系統負載的變化而動態地調整批量處理規模(即批量大小)的方法。

發明內容

本公開的實施例提供了任務處理方法和裝置、圖形任務處理系統、以及計算機可讀存儲介質。

本公開的實施例提供了一種任務處理方法。該任務處理方法包括：按照第一預設時間間隔，獲取任務隊列長度，并確定所述任務隊列長度的變化量；基于所獲取的任務隊列長度以及所述任務隊列長度的變化量，確定用于批量處理的預測任務數量；基于所述任務隊列長度以及所述用于批量處理的預測任務數量，動態地確定用于批量處理的任務數量；以及按照所述用于批量處理的任務數量，分配所述任務隊列中的任務。

例如，基于所獲取的任務隊列長度以及所述任務隊列長度的變化量，確定用于批量處理的預測任務數量，包括：根據用于批量處理的預測任務數量與所述任務隊列長度和所述任務隊列長度的變化量的函數關系，來確定用于批量處理的預測任務數量。

例如，所述函數關系為：k＝a*s+b*△s，其中，k是所述用于批量處理的預測任務數量，s指示所獲取的任務隊列長度，△s指示任務隊列長度的變化量、并且為按照第一預設時間間隔所獲取的任務隊列長度與前一任務隊列長度之間的差值，并且a和b是非零常數。

例如，基于所述任務隊列長度以及所述用于批量處理的預測任務數量，動態地確定用于批量處理的任務數量，包括：在所確定的用于批量處理的預測任務數量不大于所述任務隊列長度的情況下，將所述預測任務數量確定為用于批量處理的任務數量；以及在所確定的用于批量處理的預測任務數量大于所述任務隊列長度的情況下，基于預設等待時間內所述任務隊列長度的動態變化，動態地確定用于批量處理的任務數量。

例如，基于預設等待時間內所述任務隊列長度的動態變化，動態地確定用于批量處理的任務數量，包括：在所述預設等待時間內，按照所述第一預設時間間隔，獲取更新的任務隊列長度，其中，所述更新的任務隊列長度表征了所述任務隊列長度的動態變化；以及在所述預設等待時間內在所確定的用于批量處理的預測任務數量不大于所述更新的任務隊列長度的情況下，或者在所述預設等待時間期滿且所確定的用于批量處理的預測任務數量不大于所述更新的任務隊列長度的情況下，將所述預測任務數量確定為用于批量處理的任務數量；在所述預設等待時間期滿且所確定的用于批量處理的預測任務數量仍大于所述更新的任務隊列長度的情況下，將所述更新的任務隊列長度確定為用于批量處理的任務數量。