[發(fā)明專利]在神經(jīng)網(wǎng)絡(luò)推理中實現(xiàn)數(shù)據(jù)同步的裝置和方法

在審

• 申請?zhí)枺?/td>: 201980051147.4
• 申請日: 2019-12-31
• 公開（公告）號: CN113169989A
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計）人: 王巖巖;馮源;吳祖光;周鵬
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本申請?zhí)峁┝嗽谏窠?jīng)網(wǎng)絡(luò)推理中實現(xiàn)數(shù)據(jù)同步的裝置和方法。涉及人工智能(Artificial Intelligence，AI)領(lǐng)域，具體涉及神經(jīng)網(wǎng)絡(luò)推理技術(shù)。該裝置包括：存儲器，用于存儲第一特征圖；神經(jīng)網(wǎng)絡(luò)處理器NPU，用于：從所述存儲器中獲取所述第一特征圖，所述第一特征圖包含M個分塊，M為正整數(shù)；利用異步方式對所述M個分塊分別執(zhí)行神經(jīng)網(wǎng)絡(luò)模型中至少兩層的推理計算以得到M個推理結(jié)果，該異步方式是指對每個分塊執(zhí)行完所述神經(jīng)網(wǎng)絡(luò)模型中一層的推理計算所得到的中間結(jié)果不進(jìn)行數(shù)據(jù)同步，并且繼續(xù)對所述中間結(jié)果執(zhí)行下一層的推理計算；將所述M個推理結(jié)果進(jìn)行數(shù)據(jù)同步以得到同步后的數(shù)據(jù)。由于該NPU在執(zhí)行完神經(jīng)網(wǎng)絡(luò)模型中至少兩層的推理計算之后才進(jìn)行數(shù)據(jù)同步，這使得在神經(jīng)網(wǎng)絡(luò)推理過程中進(jìn)行數(shù)據(jù)同步的次數(shù)較少，進(jìn)而產(chǎn)生較少的數(shù)據(jù)搬遷開銷。

技術(shù)領(lǐng)域

本發(fā)明實施例涉及神經(jīng)網(wǎng)絡(luò)推理技術(shù)，尤其涉及一種在神經(jīng)網(wǎng)絡(luò)推理中實現(xiàn)數(shù)據(jù)同步的裝置和方法。

背景技術(shù)

人工智能(Artificial Intelligence,AI)是利用數(shù)字計算機或者數(shù)字計算機控制的機器模擬、延伸和擴展人的智能，感知環(huán)境、獲取知識并使用知識獲得最佳結(jié)果的理論、方法、技術(shù)及應(yīng)用系統(tǒng)。換句話說，人工智能是計算機科學(xué)的一個分支，它企圖了解智能的實質(zhì)，并生產(chǎn)出一種新的能以人類智能相似的方式作出反應(yīng)的智能機器。人工智能也就是研究各種智能機器的設(shè)計原理與實現(xiàn)方法，使機器具有感知、推理與決策的功能。人工智能領(lǐng)域的研究包括機器人，自然語言處理，計算機視覺，決策與推理，人機交互，推薦與搜索，AI基礎(chǔ)理論等。

計算機視覺是各個應(yīng)用領(lǐng)域，如制造業(yè)、檢驗、文檔分析、醫(yī)療診斷，和軍事等領(lǐng)域中各種智能/自主系統(tǒng)中不可分割的一部分，它是一門關(guān)于如何運用照相機/攝像機和計算機來獲取我們所需的，被拍攝對象的數(shù)據(jù)與信息的學(xué)問。形象地說，就是給計算機安裝上眼睛(照相機/攝像機)和大腦(算法)用來代替人眼對目標(biāo)進(jìn)行識別、跟蹤和測量等，從而使計算機能夠感知環(huán)境。因為感知可以看作是從感官信號中提取信息，所以計算機視覺也可以看作是研究如何使人工系統(tǒng)從圖像或多維數(shù)據(jù)中“感知”的科學(xué)。總的來說，計算機視覺就是用各種成像系統(tǒng)代替視覺器官獲取輸入信息，再由計算機來代替大腦對這些輸入信息完成處理和解釋。計算機視覺的最終研究目標(biāo)就是使計算機能像人那樣通過視覺觀察和理解世界，具有自主適應(yīng)環(huán)境的能力。

神經(jīng)網(wǎng)絡(luò)作為計算機視覺的一個重要方法，在目標(biāo)分類、檢測等領(lǐng)域應(yīng)用廣泛。輸入圖像數(shù)據(jù)，通過訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，計算出所需要的語義信息，例如物體的類別等，這個過程為神經(jīng)網(wǎng)絡(luò)推理(Neural Network Inference)。

圖1為一種對圖像數(shù)據(jù)執(zhí)行神經(jīng)網(wǎng)絡(luò)推理的架構(gòu)圖，該架構(gòu)圖包括相機(或稱攝像頭)、圖像信號處理器(Image Signal Processor，ISP)和神經(jīng)網(wǎng)絡(luò)處理器(Neural networkProcessing Unit，NPU)，具體地，NPU對相機采集的原始數(shù)據(jù)進(jìn)行推理包括如下步驟：

步驟1：相機采集原始數(shù)據(jù)(Raw Data)，由于原始數(shù)據(jù)和相機濾鏡相關(guān)，數(shù)據(jù)格式對肉眼和神經(jīng)網(wǎng)絡(luò)皆不友好，且包含較多的噪聲數(shù)據(jù)和不必要的信息，因此，相機將原始數(shù)據(jù)發(fā)給ISP以進(jìn)行圖像處理。

步驟2：ISP在接收到原始數(shù)據(jù)之后，對原始數(shù)據(jù)進(jìn)行相關(guān)處理，包括去噪、色域轉(zhuǎn)換、銳化和壓縮等步驟，將原始數(shù)據(jù)轉(zhuǎn)換為圖像數(shù)據(jù)；

步驟3：NPU讀取ISP處理后的圖像數(shù)據(jù)，并且加載訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行神經(jīng)網(wǎng)絡(luò)推理，從而得到推理結(jié)果。

在上述步驟3中，NPU在執(zhí)行神經(jīng)網(wǎng)絡(luò)推理的過程中，需要對推理過程中產(chǎn)生的多個中間數(shù)據(jù)進(jìn)行數(shù)據(jù)同步，然后基于同步后的數(shù)據(jù)繼續(xù)執(zhí)行后面的推理過程，所謂數(shù)據(jù)同步是指對產(chǎn)生的數(shù)據(jù)不繼續(xù)執(zhí)行下一步的操作，而是等多個數(shù)據(jù)到齊之后，將這個多個數(shù)據(jù)作為整體再執(zhí)行下一步的操作。由于數(shù)據(jù)同步點的選擇會影響到數(shù)據(jù)搬遷開銷，因此，NPU在執(zhí)行神經(jīng)網(wǎng)絡(luò)推理的過程中，選擇何時進(jìn)行數(shù)據(jù)同步將會影響到數(shù)據(jù)搬遷開銷，進(jìn)而影響NPU執(zhí)行神經(jīng)網(wǎng)絡(luò)推理的性能。

發(fā)明內(nèi)容