[發明專利]一種數據處理方法、裝置及存儲介質

在審

• 申請號: 202210646271.9
• 申請日: 2022-06-08
• 公開（公告）號: CN114972955A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 翟季冬;馬子軒;王豪杰;馮冠宇;張晨
• 申請（專利權）人: 清華大學
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/74;G06V10/776
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種數據處理方法、裝置及存儲介質，其中，該方法可以包括獲取深度學習模型中的待處理數據組；確定與待處理數據組中各待處理數據相匹配的模擬方式，模擬方式用于基于不同于待處理數據的數據類型的其他數據類型，表示待處理數據的數據類型；根據各待處理數據相匹配的模擬方式對各待處理數據進行處理，生成各待處理數據對應的模擬數據，模擬數據通過所述其他數據類型表示；對各待處理數據對應的模擬數據進行處理，得到數據處理結果。通過本公開，在保證數據處理精度的情況下，進行數據加速處理，提供了高效計算能力，有效提升了加速器的性能；同時，擴展了加速器的使用場景，有效降低了對加速器的硬件要求。

技術領域

本公開涉及數據處理技術領域，尤其涉及一種數據處理方法、裝置及存儲介質。

背景技術

隨著硬件的迅速發展，加速器成為了目前計算領域的重要突破點。各硬件廠商都針對熱門應用推出了各自的加速器設計。例如，谷歌公司的張量處理單元(TensorProcessing Unit，TPU)、英偉達Nvidia公司的張量核心(Tensor Core)、華為公司的昇騰910芯片都是面向深度學習設計的加速器；這些加速器有效的提高了領域應用的執行效率。

然而，領域特定加速器的設計面向特定程序，這導致這類硬件的應用場景存在嚴格限制。這類硬件通常只支持有限的原生數據類型，例如，在Nvidia特斯拉Tesla V100加速卡中，Tensor Core支持FP16類型的矩陣乘法，而科學計算領域廣泛使用的FP32類型和FP64類型沒有很好的支持。

現有技術中，采樣混合精度的計算模式或者使用低精度類型模擬高精度類型的方式等，以使加速器支持更多類型的計算，然而，這些方式對加速器的性能提升仍不理想。例如，在對圖像進行識別的場景中，采用這些方式，可以使面向深度學習設計的加速器支持更多數據類型的計算，但圖像識別的精度和速度仍有待提高。

發明內容

有鑒于此，本公開提出了一種數據處理方法、裝置及存儲介質。

根據本公開的一方面，提供了一種數據處理方法，所述方法包括：獲取深度學習模型中的待處理數據組；所述待處理數據組包括深度學習模型在對圖像進行識別過程中處理的輸入數據或中間數據；確定與所述待處理數據組中各待處理數據相匹配的模擬方式，所述模擬方式用于基于不同于待處理數據的數據類型的其他數據類型，表示待處理數據的數據類型；根據所述各待處理數據相匹配的模擬方式對所述各待處理數據進行處理，生成所述各待處理數據對應的模擬數據，所述模擬數據通過所述其他數據類型表示；對所述各待處理數據對應的模擬數據進行處理，得到數據處理結果，所述數據處理結果包括深度學習模型對圖像進行識別的最終結果或中間結果。

在一種可能的實現方式中，所述各待處理數據的數據類型為FP32，所述模擬方式包括：FP32-F、FP32-B、FP32-T中的一個或多個，其中，所述FP32-F表示基于FP16類型數據模擬FP32類型數據的方式，所述FP32-B表示基于BF16類型數據模擬FP32類型數據的方式，所述FP32-T表示基于TF32類型數據模擬FP32類型數據的方式。

在一種可能的實現方式中，所述各待處理數據的數據類型為FP32，所述各待處理數據相匹配的模擬方式包括FP32-F；所述各待處理數據對應的模擬數據包括FP16類型的第一數據及第二數據；所述根據所述各待處理數據相匹配的模擬方式對所述各待處理數據進行處理，生成所述各待處理數據對應的模擬數據，包括：將所述各待處理數據進行FP32類型到FP16類型的變換，得到所述各待處理數據對應的第一數據；將所述第一數據進行FP16類型到FP32類型的變換，并計算各待處理數據與變換結果的第一差值；對所述第一差值與第一預設系數的乘積，進行FP32類型到FP16類型的變換，得到所述各待處理數據對應的第二數據。