[發明專利]模型訓練方法、實例分割方法、裝置、設備及介質

在審

• 申請號: 202210843130.6
• 申請日: 2022-07-18
• 公開（公告）號: CN115115923A
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 朱敏昭;劉樂遙;孔濤
• 申請（專利權）人: 北京有竹居網絡技術有限公司
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/26;G06V10/762
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 范彥揚

1.一種模型訓練方法，其特征在于，包括：

獲取樣本圖像；

獲取所述樣本圖像的初始標簽；其中，所述初始標簽包括目標點所屬的語義類別和實例類別，所述樣本圖像中每個物體分別標注有一個目標點，且所述物體標注的目標點為所述物體中所包含的一個點；

基于所述初始標簽生成所述樣本圖像的擴展標簽；其中，所述擴展標簽包括所述目標點的關聯點所屬的語義類別和實例類別，且所述關聯點所屬的語義類別和實例類別是基于所述目標點所屬的語義類別和實例類別確定的；

基于所述初始標簽和所述擴展標簽對初始的神經網絡模型進行訓練，并將訓練結束時的所述神經網絡模型作為實例分割模型。

2.根據權利要求1所述的方法，其特征在于，基于所述初始標簽生成所述樣本圖像的擴展標簽的步驟，包括：

獲取所述樣本圖像的低級特征；

根據所述低級特征對所述樣本圖像進行分割處理，基于分割結果得到所述目標點的關聯點；

將所述目標點所屬的語義類別和實例類別分別作為所述關聯點所屬的語義類別和實例類別，得到所述樣本圖像的擴展標簽。

3.根據權利要求2所述的方法，其特征在于，根據所述低級特征對所述樣本圖像進行分割處理，基于分割結果得到所述目標點的關聯點的步驟，包括下述至少一項：

在所述樣本圖像為二維圖像的情況下，根據所述低級特征對所述樣本圖像進行超像素分割處理，基于分割結果得到所述目標點的關聯點；

在所述樣本圖像為三維圖像的情況下，根據所述低級特征對所述樣本圖像進行超體素分割處理，基于分割結果得到所述目標點的關聯點。

4.根據權利要求1-3任一項所述的方法，其特征在于，基于所述初始標簽和所述擴展標簽對預設的神經網絡模型進行訓練，并將訓練結束時的所述神經網絡模型作為實例分割模型的步驟，包括：

基于所述初始標簽和所述擴展標簽對初始的神經網絡模型進行第一訓練，將達到第一訓練結束條件時的神經網絡模型作為第一神經網絡模型；

獲取所述第一神經網絡模型針對所述樣本圖像中每個待測點的輸出結果，基于所述輸出結果生成偽標簽；所述偽標簽包括所述樣本圖像中每個所述待測點所屬的語義類別和實例類別；

基于所述偽標簽對所述第一神經網絡模型進行第二訓練，并將達到第二訓練結束條件時的第一神經網絡模型作為實例分割模型。

5.根據權利要求4所述的方法，其特征在于，所述輸出結果包括實例特征值、語義概率和偏移向量；基于所述輸出結果生成偽標簽的步驟，包括：

基于所述樣本圖像中每個所述待測點的實例特征值、語義概率和偏移向量，以及所述目標點所屬的語義類別和實例類別，采用預設聚類算法生成偽標簽。

6.根據權利要求5所述的方法，其特征在于，采用預設聚類算法生成偽標簽的步驟，包括：

將所述目標點作為預設聚類算法中的初始聚類中心，基于所述初始聚類中心和所述樣本圖像中每個所述待測點的實例特征值、語義概率和偏移向量進行聚類處理；

根據聚類結果以及所述目標點所屬的語義類別和實例類別，得到所述樣本圖像中每個所述待測點所屬的語義類別和實例類別。

7.根據權利要求6所述的方法，其特征在于，基于所述初始聚類中心和所述樣本圖像中每個所述待測點的實例特征值、語義概率和偏移向量進行聚類處理的步驟，包括：

在首次聚類處理時，基于所述樣本圖像中每個所述待測點的實例特征值、語義概率和偏移向量，得到每個所述待測點與所述初始聚類中心之間的第一相似度，根據所述第一相似度確定新的聚類中心；

在非首次聚類處理時，基于所述樣本圖像中每個所述待測點的實例特征值、語義概率和偏移向量，得到每個所述待測點與上一次聚類處理所得的聚類中心之間的第二相似度，根據所述第二相似度確定新的聚類中心，直至聚類中心不再改變時結束聚類處理。