[發(fā)明專利]圖像矢量化方法、裝置及終端設(shè)備

有效

• 申請?zhí)枺?/td>: 202110297589.6
• 申請日: 2021-03-19
• 公開（公告）號: CN113077477B
• 公開（公告）日: 2023-01-24
• 發(fā)明（設(shè)計）人: 高成英;莫浩然
• 申請（專利權(quán)）人: 中山大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T11/20
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 陳志明

1.一種圖像矢量化方法，其特征在于，包括：

獲取像素級圖像，并構(gòu)造與所述像素級圖像大小相同的畫布；

初始化裁剪窗口的信息，所述信息包括窗口大小和窗口位置；

根據(jù)所述裁剪窗口，對所述像素級圖像和所述畫布進行對齊裁剪，得到區(qū)域小塊；所述根據(jù)所述裁剪窗口，對所述像素級圖像和所述畫布進行對齊裁剪，得到區(qū)域小塊，包括：獲取所述區(qū)域小塊上任一像素對應(yīng)的被裁剪圖像上周圍四個預(yù)設(shè)像素的值，以及所述像素與所述預(yù)設(shè)像素的距離，所述預(yù)設(shè)像素包括位于所述像素左上方的像素、位于所述像素左下方的像素、位于所述像素右上方的像素及位于所述像素右下方的像素；根據(jù)所述區(qū)域小塊上任一像素對應(yīng)的被裁剪圖像上周圍四個預(yù)設(shè)像素的值及所述像素與所述預(yù)設(shè)像素的距離，進行雙線性插值計算，得到所述區(qū)域小塊上所述像素的值；

將所述區(qū)域小塊輸入到預(yù)先建立的筆劃生成器進行計算，獲得相應(yīng)的筆劃信息，并根據(jù)所述筆劃信息繪制筆劃；所述將所述區(qū)域小塊輸入到預(yù)先建立的筆劃生成器進行計算，獲得相應(yīng)的筆劃信息，并根據(jù)所述筆劃信息繪制筆劃，具體包括：將所述區(qū)域小塊輸入到預(yù)先建立的筆劃生成器進行計算，得到下一筆劃的矢量參數(shù)；將所述筆劃的矢量參數(shù)轉(zhuǎn)化為一貝塞爾曲線的參數(shù)；將所述貝塞爾曲線的參數(shù)輸入到預(yù)設(shè)的可微渲染器進行處理，得到筆劃圖像；

基于所述裁剪窗口對所述筆劃進行可微拼貼，得到與所述像素級圖像相適配的筆劃幀；所述可微拼貼操作基于裁剪窗口進行，使用雙線性圖像插值算法，令拼貼后的筆劃幀上每一個像素的值由筆劃圖像上與該像素臨近的周圍四個像素值的雙線性插值計算得到；

將所述裁剪窗口移動到所述筆劃繪制的末端位置，并更新所述裁剪窗口的窗口位置；

所述更新所述裁剪窗口的窗口位置，具體包括：根據(jù)公式和更新所述裁剪窗口的窗口位置；

其中，Q_t為更新后t時刻的窗口位置，Q_t-1為上一個時刻的窗口位置，為更新后t時刻的未做數(shù)值范圍剪裁的窗口位置；ΔQ_t為t時刻窗口位置的移動偏移值，ΔQ_t＝(Δx,Δy)_t∈[-1,+1]²；W為所述裁剪窗口的窗口大小，W_I為所述像素級圖像的大小；

在更新所述裁剪窗口的窗口位置之后，獲取當前的繪制長度，判斷所述繪制長度是否達到預(yù)設(shè)的繪制最大長度；當所述繪制長度未達到所述繪制最大長度時，則重新根據(jù)所述裁剪窗口對所述像素級圖像和所述畫布進行對齊裁剪，直至所述繪制長度達到所述繪制最大長度；

當檢測到當前繪制長度達到預(yù)設(shè)的繪制最大長度時，停止繪制，獲得矢量圖。

2.如權(quán)利要求1所述的圖像矢量化方法，其特征在于，在所述將所述裁剪窗口移動到所述筆劃繪制的末端位置，并更新所述裁剪窗口的窗口位置之前，還包括：

獲取本次操作的筆觸狀態(tài)；

當所述筆觸狀態(tài)為零時，則去除所述筆劃；

當所述筆觸狀態(tài)為一時，則保留所述筆劃，將所述筆劃添加到所述畫布上。

3.如權(quán)利要求1所述的圖像矢量化方法，其特征在于，通過如下步驟訓練所述筆劃生成器，具體包括：

獲取在草圖分類任務(wù)下訓練完成的VGG-16模型；

獲取渲染后的線條畫圖像和真實的線條畫圖像，線條畫圖像為由所述可微渲染器渲染所有筆劃圖像疊加后得到的像素圖；

將所述渲染后的線條畫圖像和所述真實的線條畫圖像分別輸入到所述VGG-16模型，以獲取每個預(yù)設(shè)層輸出的特征圖；

根據(jù)公式確定第j層的損失函數(shù)；

其中，L_j為第j層的損失函數(shù)，D_j×H_j×W_j為第j層后輸出的特征圖的圖像大小，為所述渲染后的線條畫圖像輸入到第j層后輸出的特征圖，φ_j(y)所述真實的線條畫圖像輸入到第j層后輸出的特征圖；

對所有預(yù)設(shè)層的損失函數(shù)進行累加，得到總損失函數(shù)；

以所述總損失函數(shù)訓練所述筆劃生成器。