[發(fā)明專(zhuān)利]任務(wù)處理及數(shù)據(jù)流生成方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202210665564.1
• 申請(qǐng)日: 2022-06-13
• 公開(kāi)（公告）號(hào): CN115086232B
• 公開(kāi)（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 施路平;張偉豪;馬松辰;曲環(huán)宇;趙蓉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 清華大學(xué)
• 主分類(lèi)號(hào): H04L45/74
• 分類(lèi)號(hào): H04L45/74;G06N3/08;G06N3/04
• 代理公司: 北京林達(dá)劉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

本公開(kāi)涉及一種任務(wù)處理及數(shù)據(jù)流生成方法和裝置。所述任務(wù)處理方法包括：接收待處理任務(wù)的第一數(shù)據(jù)流；根據(jù)處理指令，對(duì)第一靜態(tài)數(shù)據(jù)和第一動(dòng)態(tài)數(shù)據(jù)進(jìn)行處理，獲得第二數(shù)據(jù)流；根據(jù)數(shù)據(jù)流方向指令，將第二數(shù)據(jù)流按照傳輸方向發(fā)送至目標(biāo)地址。根據(jù)本公開(kāi)的實(shí)施例的任務(wù)處理方法，對(duì)于每個(gè)處理核心，均可利用接收到的第一數(shù)據(jù)流進(jìn)行處理，獲得第二數(shù)據(jù)流，并根據(jù)第一控制數(shù)據(jù)的數(shù)據(jù)流方向指令，將第二數(shù)據(jù)流發(fā)送至目標(biāo)地址，可通過(guò)數(shù)據(jù)流方向指令靈活地控制數(shù)據(jù)流的傳輸方向，而不僅將控制數(shù)據(jù)存放在固定的處理核心內(nèi)，并由固定的處理核心來(lái)執(zhí)行任務(wù)，有利于降低數(shù)據(jù)處理或傳輸過(guò)程中的局部限制，提升數(shù)據(jù)處理和傳輸?shù)撵`活性和效率。

技術(shù)領(lǐng)域

本公開(kāi)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種任務(wù)處理及數(shù)據(jù)流生成方法和裝置。

背景技術(shù)

人工智能在各領(lǐng)域中不斷應(yīng)用，提升神經(jīng)網(wǎng)絡(luò)模型運(yùn)算效率的神經(jīng)網(wǎng)絡(luò)加速芯片越來(lái)越重要。芯片中的眾核架構(gòu)因其去中心化的資源分布，靈活的并行控制等特點(diǎn)，成為了神經(jīng)網(wǎng)絡(luò)加速芯片的重要研究方向。相關(guān)技術(shù)中，主流的眾核芯片的執(zhí)行方式可以分為單指令多數(shù)據(jù)(Single?Instruction?Multiple?Data，SIMD)執(zhí)行方式，和多指令多數(shù)據(jù)(Multiple?Instruction?Multiple?Data，MIMD)執(zhí)行方式。在SIMD的執(zhí)行方式中，芯片的所有處理核心在同一時(shí)刻執(zhí)行相同的指令，但是處理不同的數(shù)據(jù)。而在MIMD的執(zhí)行方式中，不同的處理核心可以并行的執(zhí)行不同的指令，分別處理不同的數(shù)據(jù)。一般而言SIMD因?yàn)槠淇刂七壿嫼?jiǎn)單，可以做到較高并行算力密度，是當(dāng)前很多大規(guī)模神經(jīng)網(wǎng)絡(luò)加速芯片的選擇。但隨著網(wǎng)絡(luò)功能、結(jié)構(gòu)、資源占用的多樣性不斷增加，尤其是多神經(jīng)網(wǎng)絡(luò)協(xié)同的場(chǎng)景不斷出現(xiàn)，在執(zhí)行調(diào)度上更加靈活通用的MIMD的執(zhí)行方式也受到越來(lái)越多的關(guān)注。在MIMD的執(zhí)行方式中，可以使每個(gè)處理核心獨(dú)立地完成一系列運(yùn)算，這給任務(wù)的部署帶來(lái)更大靈活性。然而，相關(guān)技術(shù)中，在執(zhí)行神經(jīng)網(wǎng)絡(luò)模型的處理任務(wù)時(shí)，多采用流水式的執(zhí)行策略，即，使得同一個(gè)任務(wù)中的多個(gè)任務(wù)節(jié)點(diǎn)分別布置在多個(gè)處理核心上，并通過(guò)處理核心依次處理各個(gè)任務(wù)節(jié)點(diǎn)，因此，相關(guān)技術(shù)并未充分發(fā)揮MIMD執(zhí)行方式的靈活性，流水式執(zhí)行策略也難以提升任務(wù)數(shù)據(jù)的處理效率和傳輸效率。

發(fā)明內(nèi)容

本公開(kāi)提供了一種任務(wù)處理及數(shù)據(jù)流生成方法和裝置。

根據(jù)本公開(kāi)的一方面，提供了一種任務(wù)處理方法，所述方法用于眾核處理組件中的任意一個(gè)處理核心，所述方法包括：接收待處理任務(wù)的第一數(shù)據(jù)流，其中，所述第一數(shù)據(jù)流包括第一動(dòng)態(tài)數(shù)據(jù)、第一靜態(tài)數(shù)據(jù)和第一控制數(shù)據(jù)，所述第一動(dòng)態(tài)數(shù)據(jù)包括所述待處理任務(wù)的輸入數(shù)據(jù)或中間結(jié)果數(shù)據(jù)，所述第一靜態(tài)數(shù)據(jù)包括所述待處理任務(wù)的權(quán)值數(shù)據(jù)，所述第一控制數(shù)據(jù)包括處理指令和數(shù)據(jù)流方向指令，所述數(shù)據(jù)流方向指令用于確定所述處理核心產(chǎn)生的數(shù)據(jù)流的傳輸方向；根據(jù)所述處理指令，對(duì)所述第一靜態(tài)數(shù)據(jù)和所述第一動(dòng)態(tài)數(shù)據(jù)進(jìn)行處理，獲得第二數(shù)據(jù)流；根據(jù)所述數(shù)據(jù)流方向指令，將所述第二數(shù)據(jù)流按照所述傳輸方向發(fā)送至目標(biāo)地址。

在一種可能的實(shí)現(xiàn)方式中，根據(jù)所述處理指令，對(duì)所述第一靜態(tài)數(shù)據(jù)和所述第一動(dòng)態(tài)數(shù)據(jù)進(jìn)行處理，獲得第二數(shù)據(jù)流，包括：根據(jù)所述處理指令，在所述處理核心中加載目標(biāo)功能；根據(jù)所述目標(biāo)功能，對(duì)所述第一靜態(tài)數(shù)據(jù)和所述第一動(dòng)態(tài)數(shù)據(jù)進(jìn)行處理，獲得第二數(shù)據(jù)流。

在一種可能的實(shí)現(xiàn)方式中，所述第二數(shù)據(jù)流包括第二靜態(tài)數(shù)據(jù)、第二動(dòng)態(tài)數(shù)據(jù)和第二控制數(shù)據(jù)中的至少一種，所述目標(biāo)地址包括所述第二靜態(tài)數(shù)據(jù)的第一目標(biāo)地址，所述第二動(dòng)態(tài)數(shù)據(jù)的第二目標(biāo)地址，和所述第二控制數(shù)據(jù)的第三目標(biāo)地址，根據(jù)所述數(shù)據(jù)流方向指令，將所述第二數(shù)據(jù)流按照上述傳輸方向發(fā)送至目標(biāo)地址，包括：將所述第二靜態(tài)數(shù)據(jù)發(fā)送至所述第一目標(biāo)地址，將所述第二動(dòng)態(tài)數(shù)據(jù)發(fā)送至第二目標(biāo)地址，和/或?qū)⑺龅诙刂茢?shù)據(jù)發(fā)送至第三目標(biāo)地址。