[發(fā)明專利]視覺目標(biāo)圖像分辨率增強的方法、系統(tǒng)、裝置及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110698882.3
• 申請日: 2021-06-23
• 公開（公告）號: CN113554058A
• 公開（公告）日: 2021-10-26
• 發(fā)明（設(shè)計）人: 金龍存;盧盛林
• 申請（專利權(quán)）人: 廣東奧普特科技股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06T3/40
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 韓靜粉

1.一種視覺目標(biāo)圖像分辨率增強的方法，其特征在于，包括：

采用預(yù)先訓(xùn)練好的人臉圖像超分辨率模型對待處理的低分辨率人臉圖像以及其對應(yīng)的人臉屬性進(jìn)行處理，輸出高分辨率人臉圖像；其中，所述人臉圖像超分辨率模型的訓(xùn)練方法，包括：

采集訓(xùn)練樣本，所述訓(xùn)練樣本含高分辨率人臉圖像樣本、低分辨率人臉圖像樣本以及其對應(yīng)的預(yù)設(shè)數(shù)量人臉屬性樣本；

根據(jù)所述訓(xùn)練樣本，基于預(yù)設(shè)損失函數(shù)和高分辨率人臉圖像樣本建立人臉圖像超分辨率模型。

2.根據(jù)權(quán)利要求1所述的視覺目標(biāo)圖像分辨率增強的方法，其特征在于，所述采集訓(xùn)練樣本，所述訓(xùn)練樣本含高分辨率人臉圖像樣本、低分辨率人臉圖像樣本以及其對應(yīng)的預(yù)設(shè)數(shù)量人臉屬性樣本，包括：

采集高分辨率人臉圖像樣本，采用人臉圖像數(shù)據(jù)集CelebA得到高分辨率人臉圖像樣本并備份；

采用圖像縮放算法對所述高分辨率人臉圖像樣本進(jìn)行下采樣，生成低分辨率人臉圖像樣本；

采用人臉圖像數(shù)據(jù)集CelebA中的有助于人臉圖像超分辨率的屬性，作為對應(yīng)的人臉屬性樣本，選取其中預(yù)設(shè)數(shù)量人臉屬性樣本。

3.根據(jù)權(quán)利要求2所述的視覺目標(biāo)圖像分辨率增強的方法，其特征在于，所述根據(jù)所述訓(xùn)練樣本，基于預(yù)設(shè)損失函數(shù)和高分辨率人臉圖像樣本建立人臉圖像超分辨率模型，包括：

獲取低分辨率人臉圖像樣本和對應(yīng)的預(yù)設(shè)數(shù)量人臉屬性樣本；

基于卷積神經(jīng)網(wǎng)絡(luò)對所述低分辨率人臉圖像提取淺層特征，生成低分辨率人臉圖像特征；

結(jié)合自動編碼器，對所述低分辨率人臉圖像特征通過編碼壓縮和解碼還原的操作來獲取人臉圖像的結(jié)構(gòu)特征；

采用雙重殘差密集連接網(wǎng)絡(luò)對所述人臉圖像的結(jié)構(gòu)特征與所述對應(yīng)的預(yù)設(shè)數(shù)量人臉屬性的串聯(lián)進(jìn)行提取深層特征；

采用像素重排上采樣將特征尺度擴(kuò)大，重建高分辨率人臉圖像；

基于預(yù)設(shè)損失函數(shù)對重建后的高分辨率人臉圖像與備份的高分辨率人臉圖像樣本反向收斂，建立人臉圖像超分辨率模型。

4.根據(jù)權(quán)利要求3所述的視覺目標(biāo)圖像分辨率增強的方法，其特征在于，所述結(jié)合自動編碼器，對所述低分辨率人臉圖像特征通過編碼壓縮和解碼還原的操作來獲取人臉圖像的結(jié)構(gòu)特征，包括：

編碼器使用最大池化的操作下采樣，使用2個卷積核大小為3的卷積層擴(kuò)張或壓縮特征通道數(shù)；

解碼器使用反卷積進(jìn)行上采樣，使用2個卷積核大小為3的卷積層擴(kuò)張或壓縮特征通道數(shù)。

5.根據(jù)權(quán)利要求3所述的視覺目標(biāo)圖像分辨率增強的方法，其特征在于，所述采用雙重殘差密集連接網(wǎng)絡(luò)對所述人臉圖像的結(jié)構(gòu)特征與所述對應(yīng)的預(yù)設(shè)數(shù)量人臉屬性的串聯(lián)進(jìn)行提取深層特征，包括：

對預(yù)設(shè)數(shù)量人臉屬性變量輸入的特征圖進(jìn)行尺寸變換；

將所述人臉圖像的結(jié)構(gòu)特征與人臉屬性變量在通道維度串聯(lián)起來；

將串聯(lián)起來的特征圖通過卷積核大小為3的卷積層進(jìn)行通道數(shù)壓縮；

將壓縮通道數(shù)后的所述特征通過雙重殘差密集連接網(wǎng)絡(luò)，提取深層特征。

6.根據(jù)權(quán)利要求3所述的視覺目標(biāo)圖像分辨率增強的方法，其特征在于，所述采用像素重排上采樣將特征尺度擴(kuò)大，重建高分辨率人臉圖像，包括：

基于像素重排，通過一層卷積操作，將通道數(shù)擴(kuò)大為原來的4倍，然后利用通道特定位置重排之后，獲得特征尺度擴(kuò)大2倍而通道數(shù)降為與輸入一致的結(jié)果；其中，在模型的實現(xiàn)當(dāng)中，針對×4放大系數(shù)模型，級聯(lián)兩個像素重排上采樣模塊以獲取4倍放大的輸出特征；

采用2個卷積核大小為3的卷積層，重建出高分辨率人臉圖像。

7.根據(jù)權(quán)利要求1所述的視覺目標(biāo)圖像分辨率增強的方法，其特征在于，所述采用預(yù)先訓(xùn)練好的人臉圖像超分辨率模型對待處理的低分辨率人臉圖像以及其對應(yīng)的人臉屬性進(jìn)行處理，輸出高分辨率人臉圖像，包括：

將低分辨率人臉圖像輸入人臉結(jié)構(gòu)特征提取模型，得到人臉結(jié)構(gòu)特征；

將所述人臉結(jié)構(gòu)特征與人臉屬性變量進(jìn)行串聯(lián)，輸入后續(xù)人臉圖像超分辨率模型，輸出高分辨率人臉圖像。