[發明專利]用于翡翠圖像分割的方法及模型訓練方法

有效

• 申請號: 202011353434.1
• 申請日: 2020-11-26
• 公開（公告）號: CN112465835B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 易金鵬;王秀輝;劉繼澎
• 申請（專利權）人: 深圳市對莊科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/13;G06T7/136;G06N3/04;G06N3/08;G06N20/00;G06T5/40;G06T5/50
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 譚穗平

1.一種用于翡翠圖像分割的方法，其特征在于，包括：

響應于獲取到包含翡翠圖像的原始圖像，將所述原始圖像輸入至基于機器學習預訓練的第一網絡模型中，以使所述第一網絡模型對所述原始圖像進行分割，輸出包含無背景圖的初始翡翠圖像；

將所述初始翡翠圖像輸入至基于機器學習預訓練的第二網絡模型中，以使所述第二網絡模型對所述初始翡翠圖像的高光區域圖像進行分割，輸出不包含高光區域圖像的翡翠圖像；

所述響應于獲取到原始圖像，將所述原始圖像輸入至基于機器學習預訓練的第一網絡模型中，以使所述第一網絡模型對所述原始圖像進行分割，輸出包含無背景圖的初始翡翠圖像包括：響應于獲取到視頻中每一幀的圖像，確定視頻中所有幀的圖像中滿足預設條件的圖像；將所述滿足預設條件的圖像輸入至基于機器學習預訓練的第一網絡模型中，以使所述第一網絡模型對所述原始圖像進行分割，輸出包含無背景圖的初始翡翠圖像；通過以下兩種方式之一確定滿足預設條件的圖像：基于預設的圖像質量評分策略，確定質量最優的圖像；基于視頻幀中的多個不同角度的圖像進行綜合處理，確定可輸入至第一網絡模型中的圖像；

在輸入至第一網絡模型之前首先對原始圖像進行預處理：通過零填充縮放成513*513大小格式，在得到初始翡翠圖像之后，利用PointRend算法，對初始翡翠圖像利用渲染做填充區域，迭代上采樣，針對初始翡翠圖像的邊緣進行優化；

所述第一網絡模型的模型訓練方法，包括：對原始圖像集中每一張包含翡翠的原始圖像預處理，得到原始圖像中翡翠圖像的掩膜；將作為正樣本的所述掩膜和作為負樣本的所述原始圖像集中不包含翡翠的原始圖像按照3：1的數量比輸入至語義分割網絡模型中，以訓練所述語義分割網絡模型識別圖像中的背景區域圖像和翡翠圖像，并將背景區域圖像和翡翠圖像分割；

其中，所述對原始圖像集中每一張包含翡翠的原始圖像預處理，得到原始圖像中翡翠圖像的掩膜包括：基于預設的策略，對所述原始圖像的翡翠圖像與背景圖像進行分割并去除背景圖像，得到翡翠圖像；基于二值化處理策略，提取翡翠圖像的掩膜；

其中，將作為正樣本的所述掩膜和作為負樣本的所述原始圖像集中不包含翡翠的原始圖像按照預設的數量比輸入至語義分割網絡模型中，以訓練所述語義分割網絡模型識別圖像中的背景區域圖像和非背景區域圖像包括：配置所述語義分割網絡模型的結構；將作為正樣本的所述掩膜和作為負樣本的所述原始圖像集中不包含翡翠的原始圖像按照預設的數量比輸入至語義分割網絡模型中；訓練所述語義分割網絡模型，以使所述語義分割網絡模型識別圖像中的背景區域圖像和非背景區域圖像；

語義分割網絡模型的結構采用deeplabV3的網絡結構，首先對語義分割網絡模型的結構進行配置，包括：將骨干模型替換成mobilenet骨干模型；在不同的卷積層中使用不同的空洞率atrous rate，當輸出步長output＿stride＝16時atrous＿rates為[6，12，18]，采用批尺寸batchsize＝32；采用輸出步長output＿stride＝8時，atrous＿rates為[12，24，36]，batchsize為16；

第二網絡模型的模型訓練方法，包括：獲取與背景區域圖像分割的翡翠圖像；基于圖像高光估計算法，選取所述翡翠圖像的高光區域圖像；將作為正樣本的所述高光區域圖像和作為負樣本的非高光翡翠圖像按照3：1的數量比輸入至第一語義分割模型中，以訓練所述第一語義分割模型識別翡翠圖像中的高光區域圖像和非高光區域圖像，并將高光區域圖像和非高光區域圖像進行分割；

其中，將作為正樣本的所述高光區域圖像和作為負樣本的非高光翡翠圖像按照預設的數量比輸入至第一語義分割模型中，以訓練所述第一語義分割模型識別翡翠圖像中的高光區域圖像和非高光區域圖像，并將高光區域圖像和非高光區域圖像進行分割包括：配置所述第一語義分割模型的結構；將作為正樣本的所述高光區域圖像和作為負樣本的非高光翡翠圖像按照預設的數量比輸入至第一語義分割模型中，以訓練所述第一語義分割模型識別翡翠圖像中的高光區域圖像和非高光區域圖像，并將高光區域圖像和非高光區域圖像進行分割；

第一語義分割模型使用多卡模型，將3x3的空洞卷積替換成1x1的空洞卷積，訓練模型是采用poly策略，在初始學習率基礎上，乘以(1-itermax_iter)＾power，其中power為0.9，itermax_iter為迭代次數與最大迭代次數的比值，dropout系數為0.8；在不同的卷積層中使用不同的空洞率atrous rate，當輸出步長output＿stride＝16時，atrous＿rates為[6，12，18]，采用batchsize＝32；采用輸出步長output＿stride＝8時，atrous＿rates為[12，24，36]，batchsize為16。