[發(fā)明專利]數(shù)據(jù)預(yù)處理方法、裝置、計算機設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110016335.2
• 申請日: 2018-08-28
• 公開（公告）號: CN112732601A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設(shè)計）人: 不公告發(fā)明人
• 申請（專利權(quán)）人: 中科寒武紀(jì)科技股份有限公司
• 主分類號: G06F13/16
• 分類號: G06F13/16
• 代理公司: 北京華進京聯(lián)知識產(chǎn)權(quán)代理有限公司 11606
• 代理人: 方曉燕

1.一種數(shù)據(jù)預(yù)處理方法，其特征在于，所述方法包括如下步驟：

獲取第一存儲器的可用存儲容量及目標(biāo)運算操作；

根據(jù)所述目標(biāo)運算操作及所述第一存儲器的可用存儲容量，確定所述目標(biāo)運算操作對應(yīng)的目標(biāo)輸入數(shù)據(jù)；

根據(jù)所述目標(biāo)運算操作和所述目標(biāo)輸入數(shù)據(jù)，確定所述目標(biāo)運算操作的目標(biāo)輸出數(shù)據(jù)；

若所述目標(biāo)運算操作的目標(biāo)輸出數(shù)據(jù)為所述目標(biāo)運算操作之后的其他運算操作的輸入數(shù)據(jù)時，則將所述目標(biāo)運算操作的目標(biāo)輸出數(shù)據(jù)存儲在所述第一存儲器上和第二存儲器上，其中，所述第一存儲器靠近處理器設(shè)置，所述第二存儲器遠(yuǎn)離所述處理器設(shè)置，所述第一存儲器的存儲容量小于所述第二存儲器的存儲容量。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)運算操作包括一個以上的運算操作，每個所述運算操作對應(yīng)有子目標(biāo)輸入數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述目標(biāo)運算操作及所述第一存儲器的可用存儲容量，確定所述目標(biāo)運算操作對應(yīng)的目標(biāo)輸入數(shù)據(jù)，包括：

根據(jù)所述第一存儲器的可用存儲容量，確定各個所述運算操作對應(yīng)的子目標(biāo)輸入數(shù)據(jù)，并根據(jù)各個運算操作對應(yīng)的子目標(biāo)輸入數(shù)據(jù)確定所述目標(biāo)運算操作對應(yīng)的目標(biāo)輸入數(shù)據(jù)，以實現(xiàn)根據(jù)所述目標(biāo)運算操作及所述第一存儲器的可用存儲容量，確定所述目標(biāo)運算操作對應(yīng)的目標(biāo)輸入數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述目標(biāo)運算操作及所述第一存儲器的可用存儲容量，確定所述目標(biāo)運算操作對應(yīng)的目標(biāo)輸入數(shù)據(jù)的步驟，還包括：

根據(jù)所述第一存儲器的可用存儲容量及待處理運算中各個運算操作的融合屬性，確定能夠融合的運算操作的數(shù)量，獲得融合數(shù)量閾值；

將選定數(shù)量的所述能夠融合的運算操作的組合作為所述目標(biāo)運算操作，所述選定數(shù)量小于或等于所述融合數(shù)量閾值；

將所述選定數(shù)量的各個運算操作對應(yīng)的子目標(biāo)輸入數(shù)據(jù)作為所述目標(biāo)運算操作對應(yīng)的目標(biāo)輸入數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述待處理運算為包含多個運算層的神經(jīng)網(wǎng)絡(luò)運算，每個所述運算層表示一個所述運算操作；所述方法還包括如下步驟：

根據(jù)所述神經(jīng)網(wǎng)絡(luò)運算的各個運算層的連接關(guān)系，確定各個所述運算操作的融合屬性。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括如下步驟：

若所述目標(biāo)運算操作中當(dāng)前運算操作輸出的中間計算結(jié)果需作為所述目標(biāo)運算操作中其他運算操作的輸入數(shù)據(jù)，或所述當(dāng)前運算操作輸出的中間計算結(jié)果需作為其他目標(biāo)運算操作的輸入數(shù)據(jù)時，則將所述當(dāng)前運算操作輸出的中間計算結(jié)果存儲于第一存儲器上，或?qū)⑺霎?dāng)前運算操作輸出的中間計算結(jié)果存儲于第一存儲器和第二存儲器上。

7.根據(jù)權(quán)利要求1-6任一項所述的方法，其特征在于，所述目標(biāo)運算操作對應(yīng)的全部輸入數(shù)據(jù)包括多個輸入數(shù)據(jù)塊，所述目標(biāo)運算操作對應(yīng)的目標(biāo)輸入數(shù)據(jù)的數(shù)量為一個以上，每個所述目標(biāo)輸入數(shù)據(jù)包含一個以上的所述輸入數(shù)據(jù)塊。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述目標(biāo)運算操作包括一個以上的子目標(biāo)運算操作，每個所述子目標(biāo)運算操作對應(yīng)一個所述目標(biāo)輸入數(shù)據(jù)；所述方法還包括如下步驟：

分別根據(jù)各個所述子目標(biāo)運算操作的目標(biāo)輸入數(shù)據(jù)容量及目標(biāo)輸出數(shù)據(jù)的數(shù)據(jù)容量，確定各個所述子目標(biāo)運算操作所需的目標(biāo)存儲容量；

根據(jù)所述第一存儲器的可用存儲容量以及當(dāng)前子目標(biāo)運算操作所需的目標(biāo)存儲容量，確定所述第一存儲器的剩余存儲容量；

根據(jù)所述第一存儲器的剩余存儲容量，以及所述當(dāng)前子目標(biāo)運算操作之外的其他子目標(biāo)運算操作所需的目標(biāo)存儲容量，確定所述子目標(biāo)運算操作的數(shù)量。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述方法還包括如下步驟：

若一個以上的所述子目標(biāo)運算操作的目標(biāo)輸入數(shù)據(jù)存在交集時，則將所述一個以上的子目標(biāo)運算操作的目標(biāo)輸入數(shù)據(jù)之間的交集存儲在所述第一存儲器上。