[發(fā)明專利]一種圖像處理方法、裝置及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011519142.0
• 申請(qǐng)日: 2020-12-21
• 公開（公告）號(hào): CN114648537A
• 公開（公告）日: 2022-06-21
• 發(fā)明（設(shè)計(jì)）人: 張恒
• 申請(qǐng)（專利權(quán)）人: 深圳市萬(wàn)普拉斯科技有限公司
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06T7/00;G06V10/25;G06V10/44;G06V10/46;G06V10/764;G06V10/82;G06K9/62;G06N3/08
• 代理公司: 深圳市六加知識(shí)產(chǎn)權(quán)代理有限公司 44372
• 代理人: 孟麗平

1.一種圖像處理方法，其特征在于，所述方法包括：

獲取數(shù)據(jù)集，所述數(shù)據(jù)集包括至少一張訓(xùn)練圖像；

對(duì)每一所述訓(xùn)練圖像進(jìn)行裁切，生成每一訓(xùn)練圖像對(duì)應(yīng)的多張裁切圖，并對(duì)每一裁切圖進(jìn)行美學(xué)打分；

對(duì)每一所述訓(xùn)練圖像進(jìn)行目標(biāo)識(shí)別，確定目標(biāo)識(shí)別結(jié)果；

對(duì)每一裁切圖與預(yù)設(shè)的標(biāo)準(zhǔn)構(gòu)圖結(jié)果進(jìn)行損失函數(shù)計(jì)算，確定構(gòu)圖損失函數(shù)；

對(duì)所述目標(biāo)識(shí)別結(jié)果與預(yù)設(shè)的標(biāo)準(zhǔn)識(shí)別結(jié)果進(jìn)行損失函數(shù)計(jì)算，確定目標(biāo)識(shí)別損失函數(shù)；

確定所述構(gòu)圖損失函數(shù)和所述目標(biāo)識(shí)別損失函數(shù)分別對(duì)應(yīng)的損失權(quán)重，構(gòu)造裁切損失函數(shù)；

基于所述裁切損失函數(shù)，進(jìn)行訓(xùn)練以生成圖像裁切模型，并基于所述圖像裁切模型進(jìn)行圖像裁切，以輸出圖像裁切結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)每一所述訓(xùn)練圖像進(jìn)行裁切，生成每一訓(xùn)練圖像對(duì)應(yīng)的多張裁切圖，包括：

基于構(gòu)圖推薦網(wǎng)絡(luò)，根據(jù)每一所述訓(xùn)練圖像的內(nèi)容對(duì)每一所述訓(xùn)練圖像進(jìn)行裁切，生成每一訓(xùn)練圖像對(duì)應(yīng)的多張裁切圖。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)每一所述訓(xùn)練圖像的內(nèi)容對(duì)每一所述訓(xùn)練圖像進(jìn)行裁切，生成每一訓(xùn)練圖像對(duì)應(yīng)的多張裁切圖，包括：

提取所述訓(xùn)練圖像的目標(biāo)特征，確定所述訓(xùn)練圖像對(duì)應(yīng)的第一特征圖；

對(duì)所述訓(xùn)練圖像進(jìn)行目標(biāo)識(shí)別，提取目標(biāo)區(qū)域，并提取所述目標(biāo)區(qū)域?qū)?yīng)的第二特征圖；

根據(jù)所述第一特征圖和所述第二特征圖，確定特征差圖；

將所述第二特征圖和所述特征差圖進(jìn)行拼接，確定最終特征圖，將所述最終特征圖確定為裁切圖。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)每一所述訓(xùn)練圖像進(jìn)行目標(biāo)識(shí)別，確定目標(biāo)識(shí)別結(jié)果，包括：

基于目標(biāo)識(shí)別網(wǎng)絡(luò)，對(duì)每一所述訓(xùn)練圖像進(jìn)行目標(biāo)識(shí)別，確定目標(biāo)識(shí)別結(jié)果。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述圖像裁切模型進(jìn)行圖像裁切，以輸出圖像裁切結(jié)果，包括：

獲取待處理圖片；

基于所述圖像裁切模型，獲取多張構(gòu)圖裁切圖；

對(duì)每一構(gòu)圖裁切圖進(jìn)行美學(xué)打分，確定分?jǐn)?shù)最高的構(gòu)圖裁切圖為圖像裁切結(jié)果。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述構(gòu)圖損失函數(shù)包括：誤差損失函數(shù)和成對(duì)比較損失函數(shù)，其中，所述誤差損失函數(shù)用于計(jì)算預(yù)測(cè)的分?jǐn)?shù)與預(yù)設(shè)的標(biāo)準(zhǔn)分?jǐn)?shù)的損失，所述成對(duì)比較損失函數(shù)用于計(jì)算多個(gè)裁切圖預(yù)測(cè)的分?jǐn)?shù)之間的損失。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述確定所述構(gòu)圖損失函數(shù)，包括：

確定所述誤差損失函數(shù)和成對(duì)比較損失函數(shù)分別對(duì)應(yīng)的權(quán)重；

根據(jù)所述誤差損失函數(shù)和成對(duì)比較損失函數(shù)分別對(duì)應(yīng)的權(quán)重，確定所述構(gòu)圖損失函數(shù)。

8.一種圖像處理裝置，其特征在于，所述裝置包括：

獲取單元，用于獲取數(shù)據(jù)集，所述數(shù)據(jù)集包括至少一張訓(xùn)練圖像；

美學(xué)評(píng)估單元，用于對(duì)每一所述訓(xùn)練圖像進(jìn)行裁切，生成每一訓(xùn)練圖像對(duì)應(yīng)的多張裁切圖，并對(duì)每一裁切圖進(jìn)行美學(xué)打分；

目標(biāo)識(shí)別單元，用于對(duì)每一所述訓(xùn)練圖像進(jìn)行目標(biāo)識(shí)別，確定目標(biāo)識(shí)別結(jié)果；

構(gòu)圖損失函數(shù)單元，用于對(duì)每一裁切圖與預(yù)設(shè)的標(biāo)準(zhǔn)構(gòu)圖結(jié)果進(jìn)行損失函數(shù)計(jì)算，確定構(gòu)圖損失函數(shù)；

目標(biāo)識(shí)別損失函數(shù)單元，用于對(duì)所述目標(biāo)識(shí)別結(jié)果與預(yù)設(shè)的標(biāo)準(zhǔn)識(shí)別結(jié)果進(jìn)行損失函數(shù)計(jì)算，確定目標(biāo)識(shí)別損失函數(shù)；

裁切損失函數(shù)單元，用于確定所述構(gòu)圖損失函數(shù)和所述目標(biāo)識(shí)別損失函數(shù)分別對(duì)應(yīng)的損失權(quán)重，構(gòu)造裁切損失函數(shù)；

圖像裁切單元，用于基于所述裁切損失函數(shù)，進(jìn)行訓(xùn)練以生成圖像裁切模型，并基于所述圖像裁切模型進(jìn)行圖像裁切，以輸出圖像裁切結(jié)果。

9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述美學(xué)評(píng)估單元和所述目標(biāo)識(shí)別單元共用一個(gè)特征提取模塊。