[發(fā)明專利]基于混合神經(jīng)網(wǎng)絡(luò)的分布式系統(tǒng)構(gòu)建方法、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210418864.X
• 申請日: 2022-04-20
• 公開（公告）號: CN114860429A
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計）人: 范平清;鄧暢;馬西沛;李森
• 申請（專利權(quán)）人: 上海工程技術(shù)大學(xué)
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F21/62;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 上海科盛知識產(chǎn)權(quán)代理有限公司 31225
• 代理人: 趙志遠

本發(fā)明涉及一種基于混合神經(jīng)網(wǎng)絡(luò)的分布式系統(tǒng)構(gòu)建方法、設(shè)備及介質(zhì)，該方法在終端設(shè)備上部署經(jīng)過壓縮優(yōu)化后的深度神經(jīng)網(wǎng)絡(luò)，在云服務(wù)器設(shè)備上部署原始的深度神經(jīng)網(wǎng)絡(luò)，若所述終端設(shè)備上壓縮優(yōu)化后的深度神經(jīng)網(wǎng)絡(luò)輸出檢測結(jié)果滿足置信度的標(biāo)準(zhǔn)即可直接輸出結(jié)果；若終端設(shè)備結(jié)果不能滿足要求，則所述終端設(shè)備將處理后的初始特征樣本傳至云服務(wù)器，由所述運服務(wù)器的原始深度神經(jīng)網(wǎng)絡(luò)進一步處理后輸出結(jié)果。與現(xiàn)有技術(shù)相比，本發(fā)明具有在資源受限的嵌入式環(huán)境中快速完成特征提取的推理運算等優(yōu)點。

技術(shù)領(lǐng)域

本發(fā)明涉及一種分布式系統(tǒng)構(gòu)建方法，尤其是涉及一種基于混合神經(jīng)網(wǎng)絡(luò)的分布式系統(tǒng)構(gòu)建方法、設(shè)備及介質(zhì)。

背景技術(shù)

在眾多人工智能技術(shù)中，深度神經(jīng)網(wǎng)絡(luò)(DNN)是一種通過模擬人腦神經(jīng)網(wǎng)絡(luò)實現(xiàn)類人工智能的機器學(xué)習(xí)技術(shù)。鑒于其具有高效的數(shù)據(jù)特征提取與分析能力，其現(xiàn)已被廣泛應(yīng)用在計算機視覺、自然語言處理、無人駕駛、智能家居等相關(guān)的領(lǐng)域或行業(yè)，影響著人們的日常生活。

深度神經(jīng)網(wǎng)絡(luò)的本質(zhì)是通過模擬人腦神經(jīng)，組合低層特征形成更加抽象的高層特征，從而分析出數(shù)據(jù)所表達的信息。構(gòu)建一個DNN主要分為兩個階段：訓(xùn)練階段與推測階段。訓(xùn)練階段需要網(wǎng)絡(luò)模型先基于大量訓(xùn)練數(shù)據(jù)進行調(diào)整網(wǎng)絡(luò)模型中的權(quán)重等信息。推理運算階段直接利用訓(xùn)練完成的網(wǎng)絡(luò)模型對數(shù)據(jù)進行分析，該階段無需存儲訓(xùn)練數(shù)據(jù)和進行反向傳播操作。

目前的主流深度學(xué)習(xí)框架的模型訓(xùn)練和推理計算均是在云端/服務(wù)器端進行，而在資源受限、強調(diào)實時性的終端/嵌入式端環(huán)境中的深度學(xué)習(xí)計算引擎的實現(xiàn)還在發(fā)展中。另一方面，在終端側(cè)實時性強的人工智能展現(xiàn)出強大的需求，需要基于深度神經(jīng)網(wǎng)絡(luò)模型，在本地終端環(huán)境中運行的人工智能推理運算，以滿足在資源受限、實時性約束等終端條件下的圖像目標(biāo)分類與識別等任務(wù)需求。為了解決上述問題，從簡化網(wǎng)絡(luò)模型的角度設(shè)計了壓縮優(yōu)化方法，降低網(wǎng)絡(luò)模型對終端設(shè)備的硬件資源需求。

盡管利用模型的優(yōu)化可以在嵌入式終端設(shè)備上部署深度神經(jīng)網(wǎng)絡(luò)，但在終端設(shè)備上深度學(xué)習(xí)系統(tǒng)仍面臨著兩難的境地。要么終端設(shè)備采集數(shù)據(jù)，傳至云上的大型深度神經(jīng)網(wǎng)絡(luò)模型進行處理，因此提高了通信成本，帶來了延遲問題和隱私問題；要么直接在終端執(zhí)行的深度神經(jīng)網(wǎng)絡(luò)模型必須進行大幅的壓縮刪減，因此喪失了系統(tǒng)精度。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于混合神經(jīng)網(wǎng)絡(luò)的分布式系統(tǒng)構(gòu)建方法、設(shè)備及介質(zhì)。

本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn)：

根據(jù)本發(fā)明的第一方面，提供了一種基于混合神經(jīng)網(wǎng)絡(luò)的分布式系統(tǒng)構(gòu)建方法，該方法在終端設(shè)備上部署經(jīng)過壓縮優(yōu)化后的深度神經(jīng)網(wǎng)絡(luò)，在云服務(wù)器設(shè)備上部署原始的深度神經(jīng)網(wǎng)絡(luò)，若所述終端設(shè)備上壓縮優(yōu)化后的深度神經(jīng)網(wǎng)絡(luò)輸出檢測結(jié)果滿足置信度的標(biāo)準(zhǔn)即可直接輸出結(jié)果；若終端設(shè)備結(jié)果不能滿足要求，則所述終端設(shè)備將處理后的初始特征樣本傳至云服務(wù)器，由所述運服務(wù)器的原始深度神經(jīng)網(wǎng)絡(luò)進一步處理后輸出結(jié)果。

作為優(yōu)選的技術(shù)方案，該方法具體包括以下步驟：

步驟1)對訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)進行網(wǎng)絡(luò)模型壓縮和權(quán)重調(diào)整的簡化處理；

步驟2)在資源受限的終端設(shè)備中部署采用壓縮優(yōu)化的深度神經(jīng)網(wǎng)絡(luò)；

步驟3)在資源豐富的云服務(wù)器中部署原始的深度神經(jīng)網(wǎng)絡(luò)；

步驟4)在終端設(shè)備的本地深度神經(jīng)網(wǎng)絡(luò)上設(shè)置出口點；

步驟5)所述終端設(shè)備首先向本地壓縮優(yōu)化的深度神經(jīng)網(wǎng)絡(luò)發(fā)送采樣數(shù)據(jù)并進行快速推理運算；

步驟6)所述終端設(shè)備確定本地深度神經(jīng)網(wǎng)絡(luò)的推理結(jié)果基于置信度的標(biāo)準(zhǔn)是否能夠做出準(zhǔn)確的分類；

步驟7)如果是，則對樣本進行分類，并直接在終端設(shè)備上完成處理；