[發明專利]一種數據處理的方法、數據處理裝置和電子設備

有效

• 申請號: 202010033208.9
• 申請日: 2020-01-13
• 公開（公告）號: CN111258732B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 請求不公布姓名
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06N5/04
• 代理公司: 北京維昊知識產權代理事務所(普通合伙) 11804
• 代理人: 李波;孫新國

本公開涉及一種數據處理的方法、數據處理裝置和電子設備。其中該數據處理裝置可以包括在組合處理裝置中，該組合處理裝置還可以包括通用互聯接口和其他處理裝置。該數據處理裝置與其他處理裝置進行交互，共同完成用戶指定的計算操作。組合處理裝置還可以包括存儲裝置，該存儲裝置分別與數據處理裝置和其他處理裝置連接，用于數據處理裝置和其他處理裝置的數據服務。借助于本公開的內容，可以避免數據處理裝置內部的逐級反饋，保證數據處理裝置在單條管道模型中實現最大程度的無阻塞。

技術領域

本公開涉及計算機領域，更具體地涉及一種數據處理的方法、數據處理裝置和電子設備。

背景技術

在現有的多核并行方案中需要通過設置模型并行度(mp)、數據并行度(dp)、多線程(multi-thread)、網絡結構參數(n)四個參數來實現，現有的多核并行計算的設置方式參數復雜，對用戶不夠友好。具體情況如下：

例如在圖1中示出了現有技術的多核并行的技術方案100。數據提供器102(dataprovider)負責準備輸入數據，推理機104(inferencer)進行數據處理，然后把處理完的數據傳遞出去，即傳遞給后處理器106(post?processor)。但是推理機104傳遞完了之后還要等待后處理器106處理的結果。等后處理器106處理結果出來之后，后處理器106才告訴推理機104數據處理完畢。推理機104然后從數據提供器102再拿數據，繼續進行上述的操作。后處理器106負責收集處理結果，處理完以后把處理結果傳遞回去讓推理機104繼續向后處理器106傳遞數據。當前管道模型(pipeline)的問題在于推理機104階段，調用流(InvokeStream)后緊跟同步流(Sync?Stream)。導致管道模型中的流水其實在推理機104斷檔。在同步流期間整個管道模型處于靜止狀態。即整個管道模型只有一次流水數據。

在圖1所示的現有技術的方案中實行多核并行(例如圖1中所示的并行管道模型I-IV，另外在推理機104中設置有多核)，若需要達到性能最優，需要找到模型并行度、數據并行度、多線程、網絡結構參數的最優組合。多線程決定了創建管道模型的數量,數據并行度和網絡結構參數決定了一個管道模型一次處理圖片的數量(即，數據并行度(dp)×網絡結構參數(n)＝批尺寸(batchsize))，模型并行度決定將一次的數據量(即，一次處理圖片的數量)拆分到多少個核上執行。

現有技術方案存在的缺陷在于，不用多線程性能上不去。為避免管道模型中斷必須發起多個管道模型才能保證中央處理器(CPU)和機器學習處理器之間的流水順暢。一個管道模型一次處理圖片數量(批尺寸，batchsize)的大小對于性能的影響差異巨大。因為一個管道模型一次處理圖片的數量增大能夠減小流水輪回的次數。

發明內容

為了至少解決在上述背景技術部分所描述的問題，以便提高數據處理的總體性能，本公開提出了如下的技術方案及其多個實施例。

根據本公開的第一方面，提供了一種數據處理的方法，可以包括下面的步驟：

將數據提供器、具有多核的推理機、后處理器依次布置在同一管道模型中；

后處理器將具有多核的推理機并行處理后的數據分叉到相應的工作線程進行后處理，并將后處理得到的反饋數據流經由相應的反饋部件反饋至數據提供器。

根據本公開的第二方面，提供了一種數據處理裝置，可以包括：

依次布置在同一管道模型中的數據提供器、具有多核的推理機、后處理器；

其中后處理器將具有多核的推理機并行處理后的數據分叉到相應的工作線程進行后處理，并將后處理得到的反饋數據流經由相應的反饋部件反饋至數據提供器。

根據本公開的第三方面，提供了一種電子設備，包括如上所述的數據處理裝置。