[發(fā)明專利]一種緩存深度學(xué)習(xí)的邊緣計算架構(gòu)

有效

• 申請?zhí)枺?/td>: 202110053894.0
• 申請日: 2021-01-15
• 公開（公告）號: CN112732591B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計）人: 蘇充則;嚴(yán)偉瑋;范小朋
• 申請（專利權(quán)）人: 杭州中科先進技術(shù)研究院有限公司
• 主分類號: G06F12/0811
• 分類號: G06F12/0811;G06F12/084;G06F12/0842;G06N3/10;G06N3/08;G06V10/82;G06V10/94;G06V20/17
• 代理公司: 北京市誠輝律師事務(wù)所 11430
• 代理人: 耿慧敏

本發(fā)明公開了一種緩存深度學(xué)習(xí)的邊緣計算架構(gòu)。該架構(gòu)包括數(shù)據(jù)采集模塊、緩存單元、深度學(xué)習(xí)計算單元、控制模塊和內(nèi)存單元，其中緩存單元用于存儲經(jīng)訓(xùn)練的深度學(xué)習(xí)模型；數(shù)據(jù)采集模塊用于采集待識別的數(shù)據(jù)；深度學(xué)習(xí)計算單元用于對接收的待識別數(shù)據(jù)進行深度學(xué)習(xí)模型的識別；控制模塊用于管理緩存單元中數(shù)據(jù)的地址，并控制緩存單元深度學(xué)習(xí)模型數(shù)據(jù)的讀取，以及根據(jù)深度學(xué)習(xí)模型的識別結(jié)果確定目標(biāo)數(shù)據(jù)的存儲或傳輸。本申請通過在前端設(shè)備/邊緣設(shè)備中添加GPU或NPU模塊，并且該模塊和數(shù)據(jù)采集模塊共享同一緩存，能夠快速地實現(xiàn)深度學(xué)習(xí)的應(yīng)用。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機領(lǐng)域，更具體地，涉及一種緩存深度學(xué)習(xí)的邊緣計算架構(gòu)。

背景技術(shù)

人工智能和深度學(xué)習(xí)的應(yīng)用在很多領(lǐng)域都有著驚人的表現(xiàn)，例如語音識別、圖像識別和自動駕駛等。在現(xiàn)階段的語音識別、圖像識別和自動駕駛等應(yīng)用中，深度學(xué)習(xí)的應(yīng)用通過云計算(Cloud)等方法實現(xiàn)，即待識別數(shù)據(jù)傳輸?shù)椒?wù)器后，服務(wù)器通過運行深度學(xué)習(xí)模型得到識別結(jié)果。而前端設(shè)備/邊緣設(shè)備(Edge)受硬件條件的限制，只有數(shù)據(jù)采集和數(shù)據(jù)傳輸?shù)墓δ埽疃葘W(xué)習(xí)算法的運行要在服務(wù)器上實現(xiàn)。

在普通的深度學(xué)習(xí)應(yīng)用中，前端設(shè)備收集數(shù)據(jù)，數(shù)據(jù)在傳輸后在服務(wù)器中完成識別。在這個過程中，數(shù)據(jù)的傳輸和數(shù)據(jù)的移動會浪費較多時間，數(shù)據(jù)的安全性也會因為傳輸途徑而受影響，對數(shù)據(jù)的識別結(jié)果也會有很大的滯后性；而在特殊的深度學(xué)習(xí)應(yīng)用場景中，根據(jù)應(yīng)用的需求，前端設(shè)備收集到的數(shù)據(jù)會有特定要求，即這些數(shù)據(jù)中有部分?jǐn)?shù)據(jù)是目標(biāo)數(shù)據(jù)，這些目標(biāo)數(shù)據(jù)需要深度學(xué)習(xí)算法來識別，因為前端設(shè)備的硬件限制，前端設(shè)備無法進行人工智能或深度學(xué)習(xí)方法的運算，大量的非目標(biāo)數(shù)據(jù)會一起被存儲和傳輸。在這個過程中，大量的存儲空間和網(wǎng)絡(luò)傳輸資源會因為非目標(biāo)數(shù)據(jù)而浪費。

以物聯(lián)網(wǎng)設(shè)備中攝像頭的圖像識別應(yīng)用為例，對于NVIDIA公司的GPU來說，圖片數(shù)據(jù)要經(jīng)過內(nèi)存、GPU顯存和緩存Cache后，才能開始計算圖像識別模型，其過程如圖1所示。對于利用UMA(unified?memory?architecture)技術(shù)實現(xiàn)內(nèi)存共享的芯片，如圖2的Apple公司的M1芯片，CPU、GPU、NPU共用同一內(nèi)存空間，圖片數(shù)據(jù)要經(jīng)過內(nèi)存、Cache、Fabric后才能進行圖形識別模型的計算。

在現(xiàn)有技術(shù)中，加速深度學(xué)習(xí)的方案通常是對服務(wù)器間多層級共享緩存(cache)的研究或者是對神經(jīng)網(wǎng)絡(luò)計算芯片的研究。

例如，中國專利申請CN202010637952.X公開了一種基于企業(yè)級超算場景的客戶端多級緩存方法及系統(tǒng)，包括以下步驟：根據(jù)用戶提交的訓(xùn)練任務(wù)，獲取用戶的UID和GID，對訓(xùn)練任務(wù)進行解析得到訓(xùn)練任務(wù)參數(shù)，在客戶端創(chuàng)建相應(yīng)的緩存目錄；根據(jù)訓(xùn)練任務(wù)參數(shù)，按照優(yōu)先級由高到低的順序，從多級緩存中讀取所需數(shù)據(jù)，多級緩存包括內(nèi)存緩存、結(jié)合內(nèi)存緩存與固定硬盤緩存的二級緩存和分布式存儲系統(tǒng)；若為二級緩存，則將分布式存儲系統(tǒng)中的數(shù)據(jù)同步緩存在與固態(tài)硬盤對應(yīng)的緩存目錄中。該申請采用多級緩存機制讀取數(shù)據(jù)，可以加快深度學(xué)習(xí)模型訓(xùn)練速度，減輕分布式存儲系統(tǒng)的壓力，是一種使用多級緩存來處理多種應(yīng)用的方法。

又如，中國專利申請CN202010289197.0公開了一種將基于緩存的深度神經(jīng)網(wǎng)絡(luò)分布式部署在分散邊緣設(shè)備上的方法。該方法先對神經(jīng)網(wǎng)絡(luò)進行劃分，并在劃分處前一層神經(jīng)網(wǎng)絡(luò)進行剪枝，然后在任務(wù)發(fā)起設(shè)備計算深度神經(jīng)網(wǎng)絡(luò)的一部分，將少量中間結(jié)果傳輸?shù)狡渌吘壴O(shè)備，并計算剩余的部分，除此之外緩存并重用邊緣設(shè)備神經(jīng)網(wǎng)絡(luò)的中間結(jié)果，不同設(shè)備間可以共享緩存，從而減少邊緣智能應(yīng)用的延遲并減少神經(jīng)網(wǎng)絡(luò)對邊緣設(shè)備性能的要求，特別是在邊緣側(cè)對類似數(shù)據(jù)發(fā)起智能任務(wù)請求時，可減少重復(fù)計算量，該申請是用共享緩存的方法來進行分布式計算。

總之，以現(xiàn)在的方式實現(xiàn)人工智能或深度學(xué)習(xí)的應(yīng)用，浪費了大量的時間和計算資源。

發(fā)明內(nèi)容

本發(fā)明的目的是克服上述現(xiàn)有技術(shù)的缺陷，提供一種緩存深度學(xué)習(xí)的邊緣計算架構(gòu)，以解決實現(xiàn)人工智能或深度學(xué)習(xí)應(yīng)用過程中滯后的問題。