[發明專利]圖像中像素的實例類別確定方法、裝置、設備及存儲介質

在審

• 申請號: 202011040874.1
• 申請日: 2020-09-28
• 公開（公告）號: CN112053358A
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 單鼎一;梅樹起
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/13;G06T7/187;G06T7/41;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;賈允

1.一種圖像中像素的實例類別確定方法，其特征在于，所述方法包括：

獲取待檢測圖像，所述待檢測圖像中包括目標數量的實例；

對所述待檢測圖像進行下采樣處理，得到共享特征；

采用連通域分區域聚類方法對所述共享特征進行語義分割處理，得到語義特征；

對所述共享特征進行實例分析處理，得到實例特征；所述實例特征包括所述待檢測圖像中每個像素的空間位置特征；

將所述語義特征與所述實例特征進行融合，確定所述待檢測圖像中每個像素的融合特征；

根據所述待檢測圖像中每個像素的融合特征，確定所述待檢測圖像中每個像素的實例類別。

2.根據權利要求1所述的方法，其特征在于，所述確定所述待檢測圖像中每個像素的實例類別的步驟之后，所述方法還包括：

通過密度聚類算法，確定每個實例類別對應的像素集；

響應于在顯示界面的觸發操作，根據所述每個實例類別對應的像素集，展示所述待檢測圖像中每個實例對應的圖像。

3.根據權利要求1所述的方法，其特征在于，所述語義特征包括所述待檢測圖像的背景特征和前景特征；所述采用連通域分區域聚類方法對所述共享特征進行語義分割處理，得到語義特征包括：

采用連通域分區域聚類方法對所述共享特征進行語義分割處理，得到所述待檢測圖像的背景特征和前景特征；

相應的，所述采用連通域分區域聚類方法對所述共享特征進行語義分割處理，得到所述待檢測圖像的背景特征和前景特征的步驟之后，所述方法還包括：

確定所述待檢測圖像的背景特征的第一掩碼以及所述前景特征的第二掩碼。

4.根據權利要求3所述的方法，其特征在于，所述實例特征還包括所述待檢測圖像中每個像素的紋理特征，所述對所述共享特征進行實例分析處理，得到實例特征包括：

對所述共享特征進行實例分析處理，得到所述待檢測圖像中每個像素的紋理特征和空間位置特征；

相應的，所述將所述語義特征與所述實例特征進行融合，確定所述待檢測圖像中每個像素的融合特征包括：

將所述待檢測圖像的背景特征的第一掩碼與所述待檢測圖像中背景對應像素的紋理特征、空間位置特征進行融合，得到第一融合結果；

將所述待檢測圖像的前景特征的第二掩碼與所述待檢測圖像中前景對應像素的紋理特征、空間位置特征進行融合，得到第二融合結果；

根據所述第一融合結果與所述第二融合結果，確定所述待檢測圖像中每個像素的融合特征。

5.根據權利要求1所述的方法，其特征在于，所述對所述待檢測圖像進行下采樣處理，得到共享特征包括：

提取所述待檢測圖像的邊緣紋理特征集；

根據所述待檢測圖像的邊緣紋理特征集，確定邊緣紋理結合特征；

對所述邊緣紋理結合特征進行歸一化正態分布處理，得到歸一化特征；

對所述歸一化特征進行非線性映射處理，得到所述共享特征。

6.根據權利要求1所述的方法，其特征在于，所述采用連通域分區域聚類方法對所述共享特征進行語義分割處理，得到語義特征包括：

通過語義分支網絡對所述共享特征進行語義分割處理，得到語義特征；

所述對所述共享特征進行實例分析處理，得到實例特征包括：

通過實例分支網絡對所述共享特征進行實例分析處理，得到實例特征。

7.根據權利要求6所述的方法，其特征在于，所述通過語義分支網絡對所述共享特征進行語義分割處理，得到語義特征的步驟之前，所述方法還包括：

構建第一網絡的交叉熵損失函數；

構建第二網絡的類內聚合度損失函數與類間區別度損失函數；

將所述交叉熵損失函數、所述類內聚合度損失函數與所述類間區別度損失函數之和確定為綜合損失函數；

分別調整所述第一網絡與所述第二網絡的參數，得到當前第一網絡與當前第二網絡；

計算所述當前第一網絡、所述當前第二網絡對應的綜合損失值；

當所述綜合損失值小于預設閾值時，將所述當前第一網絡確定為所述語義分支網絡，將所述當前第二網絡確定為所述實例分支網絡。