[發明專利]直播圖像的訓練樣本生成方法、模型訓練方法及電子設備

有效

• 申請號: 202110741087.8
• 申請日: 2021-06-30
• 公開（公告）號: CN113486941B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 陳廣;鄭康元;陳增海
• 申請（專利權）人: 廣州方硅信息技術有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/44;G06T3/00
• 代理公司: 廣州駿思知識產權代理有限公司 44425
• 代理人: 潘桂生

本申請涉及一種直播圖像的訓練樣本生成方法、模型訓練方法及電子設備。所述直播圖像的訓練樣本生成方法包括：從預設的標注文件集獲取標注文件，根據所述第一輪廓標注數據，生成所述直播圖像的第一掩碼，根據所述第一掩碼以及所述直播圖像獲得目標物圖像；根據隨機生成的透視矩陣，對所述目標物圖像進行透視變換，獲得目標物的若干個前景圖像，以及根據所述透視矩陣，對所述第一掩碼進行透視變換，獲得所述前景圖像對應的第二掩碼；從預設的背景圖像集中獲取背景圖像，根據所述第二掩碼、若干個所述前景圖像以及所述背景圖像，生成若干個直播圖像的訓練樣本，具有提高訓練樣本的生成效率、增加樣本數量從而提高了對應模型的泛化能力的優點。

技術領域

本申請涉及網絡直播技術領域，特別是涉及直播圖像的訓練樣本生成方法、直播圖像檢測模型訓練方法、直播圖像的訓練樣本生成裝置、電子設備以及存儲介質。

背景技術

隨著網絡通信技術的進步，網絡直播成為一種新興的網絡互動方式，網絡直播也因其具有實時性、交互性等特點受到越來越多觀眾的喜愛。

在網絡直播的過程中，線上的主播經常需要與觀眾進行的互動，在部分直播場景下，主播將物品展示給觀眾時，需要對物品進行檢測識別。

發明人在研究的過程中發現目前主流的物體圖像檢測識別方法都是基于監督學習的方法，用于監督學習的樣本通常都是人工標注，時間與人力成本極高，能夠獲取的訓練樣本量也比較小，從而經過訓練的模型很難獲得較強的泛化能力。

發明內容

基于此，本申請的目的在于，提供一種直播圖像的訓練樣本生成方法訓練樣本生成方法、直播圖像檢測模型訓練方法、直播圖像的訓練樣本生成裝置、電子設備以及存儲介質，其具有提高訓練樣本的生成效率、增加樣本數量從而提高了對應模型的泛化能力的優點。

根據本申請實施例的第一方面，提供一種直播圖像的訓練樣本生成方法，所述直播圖像的訓練樣本生成方法包括：

從預設的標注文件集獲取標注文件，其中，所述標注文件包括目標物的直播圖像以及所述目標物的第一輪廓標注數據；

根據所述第一輪廓標注數據，生成所述直播圖像的第一掩碼，根據所述第一掩碼以及所述直播圖像獲得目標物圖像；

根據隨機生成的透視矩陣，對所述目標物圖像進行透視變換，獲得所述目標物的若干個前景圖像，以及根據所述透視矩陣，對所述第一掩碼進行透視變換，獲得所述前景圖像對應的第二掩碼；

從預設的背景圖像集中獲取背景圖像，根據所述第二掩碼、若干個所述前景圖像以及所述背景圖像，生成若干個直播圖像的訓練樣本。

根據本申請實施例的第二方面，提供一種直播圖像檢測模型訓練方法，包括所述直播圖像的樣本生成方法，以及以下模型訓練的步驟：使用所述訓練樣本對預設的直播圖像檢測初始模型進行訓練，獲得訓練好的直播圖像檢測模型。

根據本申請實施例的第三方面，提供一種直播圖像的訓練樣本生成裝置，所述直播圖像的訓練樣本生成裝置包括：

獲取模塊，用于從預設的標注文件集獲取標注文件，其中，所述標注文件包括目標物的直播圖像以及所述目標物的第一輪廓標注數據；

第一生成模塊，用于根據所述第一輪廓標注數據，生成所述直播圖像的第一掩碼，根據所述第一掩碼以及所述直播圖像獲得目標物圖像；

透視變換模塊，用于根據隨機生成的透視矩陣，對所述目標物圖像進行透視變換，獲得所述目標物的若干個前景圖像，以及根據所述透視矩陣，對所述第一掩碼進行透視變換，獲得所述前景圖像對應的第二掩碼；

第二生成模塊，用于從預設的背景圖像集中獲取背景圖像，根據所述第二掩碼、若干個所述前景圖像以及所述背景圖像，生成若干個直播圖像的訓練樣本。