[發(fā)明專利]圖像處理方法、電子裝置及芯片

在審

• 申請(qǐng)?zhí)枺?/td>: 202211414792.8
• 申請(qǐng)日: 2022-11-11
• 公開(kāi)（公告）號(hào): CN115620109A
• 公開(kāi)（公告）日: 2023-01-17
• 發(fā)明（設(shè)計(jì)）人: 歐俊宏;趙娟萍;胡欣
• 申請(qǐng)（專利權(quán)）人: 哲庫(kù)科技（上海）有限公司
• 主分類號(hào): G06V10/80
• 分類號(hào): G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 姚璐;吳素花

本申請(qǐng)實(shí)施例公開(kāi)了一種圖像處理方法、電子裝置及芯片，電子裝置構(gòu)建神經(jīng)網(wǎng)絡(luò)模型；其中，神經(jīng)網(wǎng)絡(luò)模型包括骨架網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)；基于預(yù)設(shè)骨架網(wǎng)絡(luò)搜索空間和預(yù)設(shè)特征融合網(wǎng)絡(luò)搜索空間，對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行交替式可微分架構(gòu)搜索訓(xùn)練，獲得圖像處理模型；利用圖像處理模型對(duì)待處理圖像進(jìn)行圖像處理。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種圖像處理方法、電子裝置及芯片。

背景技術(shù)

目前，常常采用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索(Neural Architecture Search，NAS)、可微分的神經(jīng)網(wǎng)絡(luò)自動(dòng)搜索(Differentiable Architecture Search，DARTS)等技術(shù)構(gòu)建用于實(shí)現(xiàn)圖像處理的網(wǎng)絡(luò)結(jié)構(gòu)。

然而，這類應(yīng)用于圖像處理的網(wǎng)絡(luò)，其特征提取網(wǎng)絡(luò)部分通常基于先驗(yàn)知識(shí)采用固定結(jié)構(gòu)，造成了模型性能優(yōu)化的瓶頸；并且，其模型結(jié)構(gòu)復(fù)雜度較高，無(wú)法應(yīng)用在移動(dòng)端等實(shí)時(shí)性要求較高的場(chǎng)景，進(jìn)而降低了圖像處理的精度和效果。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種圖像處理方法、電子裝置及芯片，能夠提升圖像處理的精度和效果。

本申請(qǐng)實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：

第一方面，本申請(qǐng)實(shí)施例提供了一種圖像處理方法，所述方法包括：

構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，其中，所述神經(jīng)網(wǎng)絡(luò)模型包括骨架網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)；

基于預(yù)設(shè)骨架網(wǎng)絡(luò)搜索空間和預(yù)設(shè)特征融合網(wǎng)絡(luò)搜索空間，對(duì)所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行交替式可微分架構(gòu)搜索訓(xùn)練，獲得圖像處理模型；

利用所述圖像處理模型對(duì)待處理圖像進(jìn)行圖像處理。

第二方面，本申請(qǐng)實(shí)施例提供了一種電子裝置，所述電子裝置包括：構(gòu)建單元、訓(xùn)練單元以及處理單元，

所述構(gòu)建單元，用于構(gòu)建神經(jīng)網(wǎng)絡(luò)模型；其中，所述神經(jīng)網(wǎng)絡(luò)模型包括骨架網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)；

所述訓(xùn)練單元，用于基于預(yù)設(shè)骨架網(wǎng)絡(luò)搜索空間和預(yù)設(shè)特征融合網(wǎng)絡(luò)搜索空間，對(duì)所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行交替式可微分架構(gòu)搜索訓(xùn)練，獲得圖像處理模型；

所述處理單元，用于利用所述圖像處理模型對(duì)待處理圖像進(jìn)行圖像處理。

第三方面，本申請(qǐng)實(shí)施例提供了一種電子裝置，所述電子裝置包括處理器、存儲(chǔ)有所述處理器可執(zhí)行指令的存儲(chǔ)器，當(dāng)所述指令被所述處理器執(zhí)行時(shí)，實(shí)現(xiàn)如上所述的圖像處理方法。

第四方面，本申請(qǐng)實(shí)施例提供了一種芯片，所述芯片包括可編程邏輯電路和/或程序指令，當(dāng)所述芯片運(yùn)行時(shí)，實(shí)現(xiàn)如上所述的圖像處理方法。

本申請(qǐng)實(shí)施例提供了一種圖像處理方法、電子裝置及芯片，電子裝置構(gòu)建神經(jīng)網(wǎng)絡(luò)模型；其中，神經(jīng)網(wǎng)絡(luò)模型包括骨架網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)；基于預(yù)設(shè)骨架網(wǎng)絡(luò)搜索空間和預(yù)設(shè)特征融合網(wǎng)絡(luò)搜索空間，對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行交替式可微分架構(gòu)搜索訓(xùn)練，獲得圖像處理模型；利用圖像處理模型對(duì)待處理圖像進(jìn)行圖像處理。由此可見(jiàn)，在本申請(qǐng)的實(shí)施例中，可以先構(gòu)建包括骨架網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)模型，進(jìn)而基于預(yù)設(shè)骨架網(wǎng)絡(luò)搜索空間和預(yù)設(shè)特征融合網(wǎng)絡(luò)搜索空間，對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行交替式可微分架構(gòu)搜索訓(xùn)練，獲得圖像處理模型；其中，交替式可微分架構(gòu)搜索訓(xùn)練能夠穩(wěn)定探索圖像處理模型的結(jié)構(gòu)，而設(shè)計(jì)的預(yù)設(shè)骨架網(wǎng)絡(luò)搜索空間和預(yù)設(shè)特征融合網(wǎng)絡(luò)搜索空間也能夠充分利用先驗(yàn)知識(shí)，減少無(wú)用的搜索計(jì)算，從而當(dāng)利用圖像處理模型進(jìn)行圖像處理時(shí)，能夠提升圖像處理的精度和效果。

附圖說(shuō)明

圖1為圖像處理方法的實(shí)現(xiàn)流程示意圖；

圖2為IAM的示意圖；

圖3為預(yù)設(shè)骨架網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；

圖4為預(yù)設(shè)骨架網(wǎng)絡(luò)搜索空間的示意圖；