[發明專利]一種利用合成訓練圖片識別廣告機邊框的方法

在審

• 申請號: 202010144748.4
• 申請日: 2020-03-04
• 公開（公告）號: CN113362353A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 陳巖;劉楊;李明博
• 申請（專利權）人: 上海分眾軟件技術有限公司
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T5/00;G06T17/00;G06T15/00;G06T15/04
• 代理公司: 上海容慧專利代理事務所(普通合伙) 31287
• 代理人: 于曉菁

本發明公開了一種利用合成訓練圖片識別廣告機邊框的方法，包括：使用Blender建立素材的3D模型，導入到Unity中進行渲染和圖片生成，在生成圖片的同時生成圖片的標注信息；通過深度學習算法識別圖片中的廣告機邊框，將其中播放的廣告畫面提取出來，并通過投影變換，消除廣告圖像的形變。本發明采用批量的合成圖片來訓練深度學習模型，不需要人工標注，節省了大量時間和人力成本，使用合成圖片可以保證生成的數據標注是沒有誤差的；用深度學習模型檢測出圖片中的廣告機邊框，將其中的廣告圖片取出并矯正，排除了環境以及拍攝形變帶來的干擾，提高了廣告驗刊的準確度；極大減小了圖像之間的誤差，使得廣告驗刊的準確度大幅提高。

技術領域

本發明屬于將圖像處理技術應用于信息傳播領域，具體涉及一種利用合成訓練圖片識別廣告機邊框的方法。

背景技術

近年來，深度學習技術在多個領域都取得了巨大的成果，如：圖像處理、自然語言處理、語音識別、機器翻譯等等。深度學習之所以在近些年得到跨越式發展，得益于幾個原因：一是互聯網時代海量數據的生成，使神經網絡有了足夠多的訓練數據；另外還有運算能力的提高和GPU的廣泛應用；當然也有很多算法上的改進來避免過擬合和梯度消失。在圖像處理領域，模型的訓練需要大量的標注圖片，例如，經典的機器學習入門的標準數據集MNIST包含60000張訓練圖像，10000張測試圖像；MS-COCO則包含了150萬個對象實例，而ImageNet使用的數據集則達到了驚人的1400萬。數據量的大小對于深度學習模型的訓練有著決定性的影響。傳統手工標注方式會耗費大量的人力，例如某公司有400多人的標注團隊，占公司總人數的六分之一，這對于一些小的團隊或公司來說是不能承受的負擔。廣告驗刊是指檢驗廣告機上實際播放的廣告和素材庫中的廣告是否相同。傳統的廣告驗刊都是使用相機去廣告機前拍攝，并將拍到的圖片和素材庫中的視頻或圖片進行人工比對，效率非常低下。使用算法對拍攝圖片和素材庫進行比對，則又誤差很大。因為受限于拍攝環境拍攝技術等原因，拍攝到的圖片和真實的素材有較大的差異。

現有技術存在的主要問題包括：大部分圖像檢測識別技術屬于監督學習，必須有足夠多的帶有標注的訓練數據，才能訓練出好的模型。絕大部分深度學習研究人員都會采用網絡上公開的一些數據集，例如：CIFAR-10、MS-COCO、ImageNet等，這些數據集都是由Google、微軟等互聯網巨頭所提供。這些數據集用來做理論研究在大部分場景下是足夠用的，但是在落地應用的時候則顯得力不從心，因為每個公司的需求都是不同的，所需要的數據也是千差萬別，不可能通過公共數據集來滿足所有的需求；另一方面，很多數據集都有法律方面的風險，例如有些人臉數據集因為侵權問題已經無法使用。另外，在廣告驗刊時，實際場景下的拍攝到的圖片受到環境(燈光，背景等)的影響以及拍攝角度的不同(拍攝角度的不同會使廣告畫面產生不同的形變)，直接拿來用算法進行比對會有很大的誤差。通過“深度學習and圖像and廣告”與“廣告and驗刊”等關鍵詞檢索得到36篇專利，并無發現可解決上述技術問題的方案。

發明內容

有鑒于此，本發明的目的是提供一種利用合成訓練圖片識別廣告機邊框的方法，以解決現有技術中的不足。

為了達到上述目的，本發明的目的是通過下述技術方案實現的：

提供一種利用合成訓練圖片識別廣告機邊框的方法，其中，包括：

使用Blender建立素材的3D模型，導入到Unity中進行渲染和圖片生成，在生成圖片的同時生成圖片的標注信息；

通過深度學習算法識別圖片中的廣告機邊框，將其中播放的廣告畫面提取出來，并通過投影變換，消除廣告圖像的形變。

上述利用合成訓練圖片識別廣告機邊框的方法，其中，在渲染的過程中，還包括：對生成好的圖片以及標注信息進行預處理，得到訓練數據；訓練數據生成后，將訓練數據分成訓練集合測試集，訓練神經網絡模型，在訓練過程中增加L2正則，每隔固定的epoch，則用標注好的一定數量的真實圖片對模型進行測試，計算輸出圖片和真實標注值圖片的IOU，并進行統計分析，不斷根據反饋改進模型。