[發明專利]場景元素融合處理方法、裝置和設備及計算機存儲介質

有效

• 申請號: 202110176324.0
• 申請日: 2021-02-07
• 公開（公告）號: CN112529116B
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 李德輝
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 朱佳

本申請公開了一種場景元素融合處理方法、裝置和設備及計算機存儲介質，涉及計算機技術領域，通過從與目標樣本圖片集合具有相同或者類似場景類型的源樣本圖片集合中提取包含目標類型元素的目標區域圖片，并通過提取的目標區域圖片對目標樣本圖片集合中的多個目標樣本圖片進行融合處理，從而能夠得到增加了目標類型元素的目標樣本圖片。這樣，針對目標樣本圖片集合中缺失元素或者失衡元素，則可以通過上述的過程在目標樣本圖片中有針對性的進行添加，從而對目標樣本圖片集合進行增強，進而可以提升訓練得到的模型的準確性。該方法可應用于自動駕駛或者地圖導航等場景中。

技術領域

本申請涉及計算機技術領域，尤其涉及人工智能(Artificial Intelligence，AI)技術領域，提供一種場景元素融合處理方法、裝置和設備及計算機存儲介質。

背景技術

計算機視覺技術是人工智能技術的一個重要分支，計算機視覺相關算法的研究成為了近年來的一個熱門研究領域，而基于監督的學習是當前計算機視覺算法的主流方法。在監督學習中，有標注的數據集是不可或缺的，它在訓練時提供模型輸入和輸出真值，引導模型學習參數，并在測試時，則可以量化以及評估模型的效果。

當前訓練數據集的獲取基本都依賴人工標注，但這是一項非常耗時耗力的工作。并且，即使是通過人工的精心標注，面對任務需求的拓展和實際場景中各類元素出現頻次相差較大的情況，數據集也常常存在缺少某些類別的元素或不同類別元素數量失衡的問題。

針對這些問題，通常可以通過在空間與通道上的轉換，例如對樣本圖片進行翻轉、裁剪、旋轉、縮放變形、添加噪聲或者模糊處理等方法得到新的樣本圖片，增強樣本多樣性。但是該方法無法增加數據集的元素類別，要獲取包含更多元素類別的數據集只能重新進行人工標注。

因此，如何解決訓練數據集中元素缺失以及失衡的問題是目前亟待解決的問題。

發明內容

本申請實施例提供一種場景元素融合處理方法、裝置和設備及計算機存儲介質，用于豐富樣本圖片中的元素類型，均衡樣本圖片集合中各類型元素的數量。

一方面，提供一種場景元素融合處理方法，所述方法包括：

獲取包含多個源樣本圖片的源樣本圖片集合以及包含多個目標樣本圖片的目標樣本圖片集合；其中，各源樣本圖片與各目標樣本圖片具有相同的場景類型，每一源樣本圖片和目標樣本圖片均采用多種類型的元素構成，且每一源樣本圖片和目標樣本圖片包括的至少一個元素均設置了相應的標注信息；

根據所述源樣本圖片集合中各個源樣本圖片各自對應的標注信息，分別從各個源樣本圖片中獲取包含目標類型元素的目標區域圖片，獲得目標區域圖片集合；

基于獲得的目標區域圖片集合，對所述目標樣本圖片集合中的至少一個目標樣本圖片進行針對所述目標類型元素的融合處理，獲得包含所述目標類型元素的至少一個目標樣本圖片。

一方面，提供一種場景元素融合處理裝置，所述裝置包括：

數據集獲取單元，用于獲取包含多個源樣本圖片的源樣本圖片集合以及包含多個目標樣本圖片的目標樣本圖片集合；其中，各源樣本圖片與各目標樣本圖片具有相同的場景類型，每一源樣本圖片和目標樣本圖片均采用多種類型的元素構成，且每一源樣本圖片和目標樣本圖片包括的至少一個元素均設置了相應的標注信息；

元素提取單元，用于根據所述源樣本圖片集合中各個源樣本圖片各自對應的標注信息，分別從各個源樣本圖片中獲取包含目標類型元素的目標區域圖片，獲得目標區域圖片集合；

融合處理單元，用于基于獲得的目標區域圖片集合，對所述目標樣本圖片集合中的至少一個目標樣本圖片進行針對所述目標類型元素的融合處理，獲得包含所述目標類型元素的至少一個目標樣本圖片。

可選的，所述元素提取單元，具體用于：