[發(fā)明專利]一種圖像處理方法和裝置

在審

• 申請?zhí)枺?/td>: 201710117030.4
• 申請日: 2017-03-01
• 公開（公告）號: CN108537720A
• 公開（公告）日: 2018-09-14
• 發(fā)明（設(shè)計(jì)）人: 王語斌;鄒國平
• 申請（專利權(quán)）人: 杭州九言科技股份有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆;胡彬

1.一種圖像處理方法，其特征在于，包括：

獲取與風(fēng)格圖片對應(yīng)的目標(biāo)風(fēng)格特征以及與內(nèi)容圖片對應(yīng)的目標(biāo)內(nèi)容特征；

預(yù)處理所述內(nèi)容圖片，以生成初始化圖片；

獲取與所述初始化圖片對應(yīng)的初始風(fēng)格特征以及初始內(nèi)容特征；

根據(jù)所述初始風(fēng)格特征與所述目標(biāo)風(fēng)格特征之間的差異，以及所述初始內(nèi)容特征與所述目標(biāo)內(nèi)容特征之間的差異，更新所述初始化圖片，以生成與所述目標(biāo)風(fēng)格特征以及所述目標(biāo)內(nèi)容特征相匹配的目標(biāo)圖片。

2.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，在獲取與風(fēng)格圖對應(yīng)的目標(biāo)風(fēng)格特征和與內(nèi)容圖對應(yīng)的目標(biāo)內(nèi)容特征之前，還包括：

預(yù)先訓(xùn)練風(fēng)格遷移卷積神經(jīng)網(wǎng)絡(luò)模型，以獲取所述目標(biāo)風(fēng)格特征、目標(biāo)內(nèi)容特征、初始風(fēng)格特征以及初始內(nèi)容特征；

其中，所述風(fēng)格遷移卷積神經(jīng)網(wǎng)絡(luò)模型通過使用設(shè)定數(shù)量人像類別的樣本圖片訓(xùn)練生成；所述風(fēng)格遷移卷積神經(jīng)網(wǎng)絡(luò)模型的輸入為圖片，輸出為風(fēng)格特征，和/或內(nèi)容特征。

3.根據(jù)權(quán)利要求2所述的圖像處理方法，其特征在于，根據(jù)所述初始風(fēng)格特征與所述目標(biāo)風(fēng)格特征之間的差異，以及所述初始內(nèi)容特征與所述目標(biāo)內(nèi)容特征之間的差異，更新所述初始化圖片，以生成與所述目標(biāo)風(fēng)格特征以及所述目標(biāo)內(nèi)容特征相匹配的目標(biāo)圖片，包括：

將所述初始風(fēng)格特征和所述目標(biāo)風(fēng)格特征輸入風(fēng)格損失函數(shù)得到風(fēng)格損失；

將所述初始內(nèi)容特征和所述目標(biāo)風(fēng)格特征輸入內(nèi)容損失函數(shù)得到內(nèi)容損失；

如果所述風(fēng)格損失以及所述內(nèi)容損失均未處于預(yù)設(shè)損失范圍內(nèi)，則根據(jù)所述風(fēng)格損失和所述內(nèi)容損失分別對所述初始風(fēng)格特征和所述初始內(nèi)容特征進(jìn)行更新，將更新結(jié)果反向輸入至所述風(fēng)格遷移卷積神經(jīng)網(wǎng)絡(luò)模型得到中間圖片，并將所述中間圖片作為新的初始化圖片；

返回執(zhí)行將所述初始風(fēng)格特征和所述目標(biāo)風(fēng)格特征輸入風(fēng)格損失函數(shù)得到風(fēng)格損失的操作，直至所述風(fēng)格損失以及所述內(nèi)容損失均處于預(yù)設(shè)損失范圍內(nèi)；

將最終獲取的所述初始化圖片作為所述目標(biāo)圖片。

4.根據(jù)權(quán)利要求3所述的圖像處理方法，其特征在于，根據(jù)所述風(fēng)格損失和所述內(nèi)容損失分別對所述初始風(fēng)格特征和所述初始內(nèi)容特征進(jìn)行更新，將更新結(jié)果反向輸入至所述風(fēng)格遷移卷積神經(jīng)網(wǎng)絡(luò)模型得到中間圖片，包括：

根據(jù)所述風(fēng)格損失和所述內(nèi)容損失，利用后向傳播方法分別對初始風(fēng)格特征和初始內(nèi)容特征求取梯度并得到像素更新值，根據(jù)像素更新值所述初始化圖更新得到所述中間圖片。

5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的圖像處理方法，其特征在于，在根據(jù)所述初始風(fēng)格特征與所述目標(biāo)風(fēng)格特征之間的差異，以及所述初始內(nèi)容特征與所述目標(biāo)內(nèi)容特征之間的差異，更新所述初始化圖之后，還包括：

根據(jù)接收到的高清處理指令，對所述目標(biāo)圖片進(jìn)行超分辨率處理。

6.一種圖像處理裝置，其特征在于，包括：目標(biāo)特征獲取模塊，用于獲取與風(fēng)格圖片對應(yīng)的目標(biāo)風(fēng)格特征以及與內(nèi)容圖片對應(yīng)的目標(biāo)內(nèi)容特征；

初始化圖片生成模塊，用于預(yù)處理所述內(nèi)容圖片，以生成初始化圖片；

初始特征獲取模塊，用于獲取與所述初始化圖片對應(yīng)的初始風(fēng)格特征以及初始內(nèi)容特征；

目標(biāo)圖片生成模塊，用于根據(jù)所述初始風(fēng)格特征與所述目標(biāo)風(fēng)格特征之間的差異，以及所述初始內(nèi)容特征與所述目標(biāo)內(nèi)容特征之間的差異，更新所述初始化圖片，以生成與所述目標(biāo)風(fēng)格特征以及所述目標(biāo)內(nèi)容特征相匹配的目標(biāo)圖片。

7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于，還包括：

風(fēng)格遷移卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練模塊，用于預(yù)先訓(xùn)練風(fēng)格遷移卷積神經(jīng)網(wǎng)絡(luò)模型，以獲取所述目標(biāo)風(fēng)格特征、目標(biāo)內(nèi)容特征、初始風(fēng)格特征以及初始內(nèi)容特征；

其中，所述風(fēng)格遷移卷積神經(jīng)網(wǎng)絡(luò)模型通過使用設(shè)定數(shù)量人像類別的樣本圖片訓(xùn)練生成；所述風(fēng)格遷移卷積神經(jīng)網(wǎng)絡(luò)模型的輸入為圖片，輸出為風(fēng)格特征，和/或內(nèi)容特征。