[發(fā)明專利]一種數(shù)據(jù)處理的方法、數(shù)據(jù)處理裝置和電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202010033208.9
• 申請日: 2020-01-13
• 公開（公告）號: CN111258732B
• 公開（公告）日: 2023-07-04
• 發(fā)明（設(shè)計）人: 請求不公布姓名
• 申請（專利權(quán)）人: 中科寒武紀科技股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06N5/04
• 代理公司: 北京維昊知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11804
• 代理人: 李波;孫新國

1.一種數(shù)據(jù)處理的方法，包括：

將數(shù)據(jù)提供器、具有多核的推理機、后處理器依次布置在同一管道模型中；

所述后處理器將具有多核的所述推理機并行處理后的數(shù)據(jù)分叉到相應(yīng)的工作線程進行后處理，并將后處理得到的反饋數(shù)據(jù)流經(jīng)由相應(yīng)的反饋部件反饋至所述數(shù)據(jù)提供器，

其中，所述推理機根據(jù)核的數(shù)量將輸入數(shù)據(jù)流拆分至所述多核的相應(yīng)核上進行并行處理，并且所述推理機上設(shè)置的所述多核中的任一個核空閑的情況下，將來自所述數(shù)據(jù)提供器的輸入數(shù)據(jù)流的數(shù)據(jù)進行處理，并且在所述推理機上設(shè)置的所述多核中的任一個核處理完成的情況下，將所述核上處理后的數(shù)據(jù)傳遞給所述后處理器；

其中，所述數(shù)據(jù)提供器用于管理來自外部請求的輸入數(shù)據(jù)流的數(shù)據(jù)和管理反饋數(shù)據(jù)流的數(shù)據(jù)，所述反饋數(shù)據(jù)流的數(shù)據(jù)包括了來自輸入緩存器、輸出緩存器、流線的反饋數(shù)據(jù)；其中來自所述輸入緩存器的反饋數(shù)據(jù)用于將工作線程與所述數(shù)據(jù)提供器的輸入數(shù)據(jù)流的數(shù)據(jù)進行同步，來自所述輸出緩存器的反饋數(shù)據(jù)用于將所述工作線程的輸出數(shù)據(jù)與所述數(shù)據(jù)提供器進行同步，所述流線用于實現(xiàn)狀態(tài)的管理；響應(yīng)于所述管道模型所在層的上層在創(chuàng)建所述流線后，每個所述流線采用待處理狀態(tài)、等待完成狀態(tài)、等待事件狀態(tài)、激活狀態(tài)和異常狀態(tài)來進行管理。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理的方法，其中所述反饋部件包括：

流線、輸出緩存器、輸入緩存器。

3.根據(jù)權(quán)利要求1或2所述的數(shù)據(jù)處理的方法，其中所述多核包括圖形處理器、語音處理器、現(xiàn)場可編程門陣列和/或?qū)Ｓ脭?shù)據(jù)處理裝置。

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)處理的方法，其中所述數(shù)據(jù)提供器和后處理器布置在中央處理器中，所述具有多核的推理機布置在具有多核的機器學(xué)習芯片上。

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)處理的方法，其中管道模型的任務(wù)并發(fā)度為所述機器學(xué)習芯片上的總核數(shù)量除以所述推理機上設(shè)置的核數(shù)量。

6.一種數(shù)據(jù)處理裝置，包括：

依次布置在同一管道模型中的數(shù)據(jù)提供器、具有多核的推理機、后處理器；

其中所述后處理器將具有多核的所述推理機并行處理后的數(shù)據(jù)分叉到相應(yīng)的工作線程進行后處理，并將后處理得到的反饋數(shù)據(jù)流經(jīng)由相應(yīng)的反饋部件反饋至所述數(shù)據(jù)提供器，

其中，所述推理機根據(jù)核的數(shù)量將輸入數(shù)據(jù)流拆分至所述多核的相應(yīng)核上進行并行處理，并且所述推理機上設(shè)置的所述多核中的任一個核空閑的情況下，將來自所述數(shù)據(jù)提供器的輸入數(shù)據(jù)流的數(shù)據(jù)進行處理，并且在所述推理機上設(shè)置的所述多核中的任一個核處理完成的情況下，將所述核上處理后的數(shù)據(jù)傳遞給所述后處理器；

其中，所述數(shù)據(jù)提供器用于管理來自外部請求的輸入數(shù)據(jù)流的數(shù)據(jù)和管理反饋數(shù)據(jù)流的數(shù)據(jù)，所述反饋數(shù)據(jù)流的數(shù)據(jù)包括了來自輸入緩存器、輸出緩存器、流線的反饋數(shù)據(jù)；其中來自所述輸入緩存器的反饋數(shù)據(jù)用于將工作線程與所述數(shù)據(jù)提供器的輸入數(shù)據(jù)流的數(shù)據(jù)進行同步，來自所述輸出緩存器的反饋數(shù)據(jù)用于將所述工作線程的輸出數(shù)據(jù)與所述數(shù)據(jù)提供器進行同步，所述流線用于實現(xiàn)狀態(tài)的管理；響應(yīng)于所述管道模型所在層的上層在創(chuàng)建所述流線后，每個所述流線采用待處理狀態(tài)、等待完成狀態(tài)、等待事件狀態(tài)、激活狀態(tài)和異常狀態(tài)來進行管理。

7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)處理裝置，其中所述反饋部件包括：

流線、輸出緩存器、輸入緩存器。

8.根據(jù)權(quán)利要求6或7所述的數(shù)據(jù)處理裝置，其中所述多核包括圖形處理器、語音處理器、現(xiàn)場可編程門陣列和/或?qū)Ｓ脭?shù)據(jù)處理裝置。

9.根據(jù)權(quán)利要求8所述的數(shù)據(jù)處理裝置，其中所述數(shù)據(jù)提供器和后處理器布置在中央處理器中，所述具有多核的推理機布置在具有多核的機器學(xué)習芯片上。

10.根據(jù)權(quán)利要求9所述的數(shù)據(jù)處理裝置，其中管道模型的任務(wù)并發(fā)度為所述機器學(xué)習芯片上的總核數(shù)量除以所述推理機上設(shè)置的核數(shù)量。

11.一種電子設(shè)備，包括如權(quán)利要求6-10中任一項所述的數(shù)據(jù)處理裝置。