[發明專利]直播圖像的訓練樣本生成方法、模型訓練方法及電子設備

有效

• 申請號: 202110741087.8
• 申請日: 2021-06-30
• 公開（公告）號: CN113486941B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 陳廣;鄭康元;陳增海
• 申請（專利權）人: 廣州方硅信息技術有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/44;G06T3/00
• 代理公司: 廣州駿思知識產權代理有限公司 44425
• 代理人: 潘桂生

1.一種直播圖像的訓練樣本生成方法，其特征在于，所述方法包括：

從預設的標注文件集獲取標注文件，其中，所述標注文件包括目標物的直播圖像以及所述目標物的第一輪廓標注數據；

根據所述第一輪廓標注數據，生成所述直播圖像的第一掩碼，根據所述第一掩碼以及所述直播圖像獲得目標物圖像；

根據隨機生成的透視矩陣，對所述目標物圖像進行透視變換，獲得所述目標物的若干個前景圖像，以及根據所述透視矩陣，對所述第一掩碼進行透視變換，獲得所述前景圖像對應的第二掩碼；

從預設的背景圖像集中獲取背景圖像，根據所述第二掩碼、若干個所述前景圖像以及所述背景圖像，生成若干個直播圖像的訓練樣本；

所述根據所述透視矩陣，對所述第一掩碼進行透視變換，獲得所述前景圖像對應的第二掩碼包括如下步驟：

對所述第一掩碼進行畫布邊界擴充，獲得擴充掩碼；

對每個所述透視矩陣，將所述擴充掩碼與所述透視矩陣進行矩陣相乘，獲得形變掩碼；

確定所述形變掩碼中的掩碼區域的第二最小外接矩形框；

根據所述第二最小外接矩形框以及所述形變掩碼，生成所述第二掩碼。

2.根據權利要求1所述的直播圖像的訓練樣本生成方法，其特征在于，所述根據隨機生成的透視矩陣，對所述目標物圖像進行透視變換，獲得所述目標物的若干個前景圖像包括如下步驟：

對所述目標物圖像進行畫布邊界擴充，獲得擴充圖像；

對每個所述透視矩陣，將所述擴充圖像與所述透視矩陣進行矩陣相乘操作，獲得形變圖像；

確定所述形變圖像中的目標物的第一最小外接矩形框；

根據所述第一最小外接矩形框以及所述形變圖像，生成所述前景圖像。

3.根據權利要求2所述的直播圖像的訓練樣本生成方法，其特征在于，所述根據所述第一最小外接矩形框以及所述形變圖像，生成所述前景圖像包括如下步驟：

根據所述第一最小外接矩形框對所述形變圖像進行裁剪，獲得所述形變圖像中對應所述第一最小外接矩形框內的圖像區域。

4.根據權利要求1至3任意一項所述的直播圖像的訓練樣本生成方法，其特征在于，所述對所述目標物圖像進行透視變換后，所述直播圖像的訓練樣本生成方法還包括：

根據預設的起點坐標，對所述透視變換后的圖像進行圖像平移處理；

和/或，

根據預設的尺寸范圍，對所述透視變換后的圖像進行縮放處理。

5.根據權利要求1所述的直播圖像的訓練樣本生成方法，其特征在于，所述從預設的背景圖像集中獲取背景圖像，根據所述第二掩碼、若干個所述前景圖像以及所述背景圖像，生成若干個直播圖像的訓練樣本包括如下步驟：

針對每個所述前景圖像，根據所述前景圖像對應的第二掩碼，將所述前景圖像與預設的背景圖像進行合成，獲得樣本圖像；

根據所述第二掩碼，生成所述樣本圖像對應的第二輪廓標注信息。

6.根據權利要求1所述的直播圖像的訓練樣本生成方法，其特征在于，所述根據所述第一輪廓標注數據，生成所述直播圖像的第一掩碼包括如下步驟：

根據所述第一輪廓標注數據，生成所述目標物的輪廓圖；

使用漫水填充算法對所述輪廓圖進行處理，獲得所述第一掩碼。

7.根據權利要求1所述的直播圖像的訓練樣本生成方法，其特征在于，所述根據所述第一掩碼以及所述直播圖像獲得目標物圖像包括如下步驟：

將所述直播圖像與所述第一掩碼進行矩陣相乘操作，獲得所述目標物圖像。

8.一種直播圖像檢測模型訓練方法，其特征在于，包括如權利要求1至7所述的直播圖像的訓練樣本生成方法，以及以下模型訓練的步驟：使用所述訓練樣本對預設的直播圖像檢測初始模型進行訓練，獲得訓練好的直播圖像檢測模型。