[發(fā)明專利]圖像處理方法、裝置、存儲介質及設備

在審

• 申請?zhí)枺?/td>: 202110312618.1
• 申請日: 2021-03-24
• 公開（公告）號: CN113034348A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設計）人: 程京;焦少慧
• 申請（專利權）人: 北京字節(jié)跳動網(wǎng)絡技術有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T11/40;G06N3/08;G06N3/04;G06K9/62
• 代理公司: 北京遠智匯知識產(chǎn)權代理有限公司 11659
• 代理人: 范坤坤

1.一種圖像處理方法，其特征在于，包括：

獲取原始圖像的擴展方向上的邊緣圖像信息；

根據(jù)所述邊緣圖像信息從至少兩個候選擴展方式中選擇目標擴展方式；

采用所述目標擴展方式對所述原始圖像進行處理，得到目標圖像。

2.根據(jù)權利要求1所述的方法，其特征在于，所述至少兩個候選擴展方式中包括第一方式和第二方式，所述第一方式基于針對邊緣像素進行復制來實現(xiàn)，所述第二方式基于神經(jīng)網(wǎng)絡模型來實現(xiàn)；

所述根據(jù)所述邊緣圖像信息從至少兩個候選擴展方式中選擇目標擴展方式，包括：

根據(jù)所述邊緣圖像信息確定邊緣區(qū)域的圖像內容的復雜度；

當所述復雜度低于或等于第一預設復雜度時，將所述第一方式確定為目標擴展方式；

當所述復雜度高于第二預設復雜度時，將所述第二方式確定為目標擴展方式，其中，所述第二預設復雜度高于或等于所述第一預設復雜度。

3.根據(jù)權利要求2所述的方法，其特征在于，采用第一指標和第二指標衡量所述復雜度；所述第一指標包括邊緣區(qū)域的像素值的均方差，所述均方差越大，對應的復雜度越高；所述第二指標包括邊緣區(qū)域的灰度值，所述灰度值越大，對應的復雜度越低。

4.根據(jù)權利要求2所述的方法，其特征在于，當所述目標擴展方式包括所述第二方式時，所述采用所述目標擴展方式對所述原始圖像進行處理，包括：

根據(jù)所述擴展方向對應的擴展長度從所述原始圖像中截取原始子圖像；

根據(jù)所述原始子圖像生成掩碼圖像，其中，所述掩碼圖像的尺寸大于所述原始子圖像的尺寸；

將所述原始子圖像和所述掩碼圖像輸入至目標圖像生成網(wǎng)絡中，得到所述目標圖像生成網(wǎng)絡輸出的生成圖像；

從所述生成圖像中截取擴展圖像，并根據(jù)所述原始圖像和所述擴展圖像生成目標圖像。

5.根據(jù)權利要求4所述的方法，其特征在于，在所述將所述原始子圖像和所述掩碼圖像輸入至目標圖像生成網(wǎng)絡中之前，還包括：

對所述原始圖像進行圖像風格識別，得到目標圖像風格；

根據(jù)所述目標圖像風格查詢預設對應關系，以獲取目標圖像生成網(wǎng)絡，其中，所述預設對應關系中包含不同圖像風格與圖像生成網(wǎng)絡的對應關系。

6.根據(jù)權利要求4所述的方法，其特征在于，所述目標圖像生成網(wǎng)絡通過對預設網(wǎng)絡模型進行訓練得到，所述預設網(wǎng)絡模型基于生成對抗式網(wǎng)絡實現(xiàn)，所述預設網(wǎng)絡模型的訓練過程涉及多個訓練階段，從第一個訓練階段至最后一個訓練階段，各訓練階段對應的損失函數(shù)的種類依次增加。

7.根據(jù)權利要求6所述的方法，其特征在于，第一個訓練階段包括重建損失函數(shù)，第二個訓練階段包括重建損失函數(shù)、對抗損失函數(shù)和感知損失函數(shù)，第三個訓練階段包括重建損失函數(shù)、對抗損失函數(shù)、感知損失函數(shù)和結構信息損失函數(shù)。

8.根據(jù)權利要求4所述的方法，其特征在于，所述根據(jù)所述原始圖像和所述擴展圖像生成目標圖像，包括：

對所述原始圖像和所述擴展圖像進行像素加權拼接處理，以生成目標圖像；其中，對于所述原始圖像和所述擴展圖像的重疊區(qū)域中的各像素位置，對應的第一像素的權重大小與相對于所述原始圖像的距離成負相關關系，對應的第二像素的權重大小與相對于所述原始圖像的距離成正相關關系，所述第一像素來源于所述原始圖像，所述第二像素來源于所述擴展圖像。

9.根據(jù)權利要求1所述的方法，其特征在于，當存在多個擴展方向時，所述方法還包括：

獲取所述多個擴展方向中的各個擴展方向分別對應的擴展比例，其中，所述擴展比例包括擴展方向對應的擴展長度與擴展方向對應的原始圖像邊長的比值；

按照所述擴展比例從小至大的順序依次確定當前的擴展方向，其中，從排序第二的擴展方向起，在采用目標擴展方式對原始圖像進行處理時，當前的擴展方向所對應的原始圖像為上一個擴展方向對應的目標圖像。