[發明專利]數據處理方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202010760644.6
• 申請日: 2020-07-31
• 公開（公告）號: CN114064304A
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 李天健;戴彥
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/48;G06T1/20
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 王文紅

本公開提供了一種數據處理方法、裝置、計算機設備及存儲介質，其中，該方法包括：通過第一線程讀取與所述第一線程對應的第一數據塊；通過所述第一線程對所述第一數據塊執行數據處理，得到至少一個第一中間數據；基于所述至少一個第一中間數據中的至少部分第一中間數據、以及第二線程得到的第二中間數據，得到所述第一線程對應的結果數據塊中的第一結果值。本公開實施例通過線程之間傳遞計算的中間數據，并基于中間數據得到每個線程對應的結果數據塊中的結果值，從而減少不同線程對相同數據的讀取次數，進而提升數據獲取的速度，提升數據處理效率。

技術領域

本公開涉及數據處理技術領域，具體而言，涉及一種數據處理方法、裝置、計算機設備及存儲介質。

背景技術

隨著深度學習和人工智能技術的發展，深度學習技術應用的領域也越來越廣泛。其中，神經網絡在圖像處理、視頻超分等應用中的效果明顯，因此被廣泛使用。圖形處理器(Graphics Processing Unit，GPU)進行神經網絡推理和訓練的常用設備。為了提升處理速度，通常GPU會利用多個線程并行處理神經網絡中的一個算子。

發明內容

本公開實施例至少提供一種數據處理方法、裝置、計算機設備及存儲介質。

第一方面，本公開實施例提供了一種數據處理方法，包括：通過第一線程讀取與所述第一線程對應的第一數據塊；通過所述第一線程對所述第一數據塊執行數據處理，得到至少一個第一中間數據；基于所述至少一個第一中間數據中的至少部分第一中間數據、以及第二線程得到的第二中間數據，得到所述第一線程對應的結果數據塊中的第一結果值。

這樣，通過第一線程讀取與第一線程對應的數據塊，并通過第一線程對第一數據塊執行數據處理，得到至少一個中間數據，然后基于至少一個第一中間數據中的至少部分第一中間數據、以及第二線程得到的第二中間數據，得到第一線程對應的數據塊中的第一結果值，該過程通過線程之間傳遞計算的中間數據，并基于中間數據得到每個線程對應的結果數據塊中的結果值，從而減少不同線程對相同數據的讀取次數，進而提升數據獲取的速度，提升數據處理效率。

一種可選的實施方式中，所述基于所述至少一個第一中間數據中的至少部分第一中間數據、以及第二線程得到的第二中間數據，得到所述第一線程對應的結果數據塊中的第一結果值，包括：通過所述第一線程，從所述第二線程的寄存器中讀取所述第二線程得到的所述第二中間數據；基于所述至少一個第一中間數據以及讀取到的所述第二中間數據，得到所述結果數據塊中的第一結果值。

這樣，每個線程將計算的中間數據，存儲至對應的寄存器中，每個線程只需要讀取部分數據，因而能夠有效減少不同線程對相同數據的重復性讀取，而是直接在線程之間傳遞中間數據，來完成各個線程的后續計算；線程之間傳遞數據的速度，遠高于從緩存中讀取數據的速度，提升數據處理任務的效率。

一種可選的實施方式中，還包括：基于所述第一線程與其他線程之間的數據依賴關系，從所述其他線程中確定所述第二線程。

這樣，可以從具有數據依賴關系的第二線程，得到數據處理過程中需要的第二中間數據。

一種可選的實施方式中，所述第二中間數據，是所述第二線程對第二數據塊執行數據處理得到的。

一種可選的實施方式中，所述第一數據塊包括輸入數據中的一列數據。

這樣，在同一線程塊中，不同線程讀取的數據塊均不同，而在后續的數據處理過程中，每個線程在基于讀取的數據塊得到第一中間數據，再從其他的數據塊得到第二中間數據，并利用至少部分第一中間數據和讀取的第二中間數據，得到處理結果，減少不同數據對重復數據的讀取，提升數據處理的效率。

一種可選的實施方式中，所述至少一個第一中間數據中的至少部分，還用于第三線程得到對應的結果數據塊中的第三處理數值。