[發明專利]一種用于行人重識別的數據增強方法及系統

有效

• 申請號: 202110484373.0
• 申請日: 2021-04-30
• 公開（公告）號: CN112990144B
• 公開（公告）日: 2021-08-17
• 發明（設計）人: 李學生;劉煒;徐奇偉
• 申請（專利權）人: 德魯動力科技（成都）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T3/00;G06N3/04
• 代理公司: 成都熠邦鼎立專利代理有限公司 51263
• 代理人: 曾克

本發明公開了一種用于行人重識別的數據增強方法及系統，經過數據增強后得到的輸入圖像，經過神經網絡處理，能夠得到一個圖像的特征向量。該特征向量隨后通過損失函數處理，得到整體的算法誤差。根據誤差，進行反向傳播，完成一輪訓練。本發明通過對人體指定部位進行Drop，增強了神經網絡對于形態各異、遮擋程度各異的行人圖像的重識別能力。其中，人體關鍵點檢測用于在圖像中檢測到人體關鍵點的坐標。隨后按照某種策略對人體進行基于關鍵點的拆分。再隨后，在每一輪訓練中，對所有圖都丟棄相同的某一部分人體圖像，以此達到數據增強的效果。

技術領域

本發明涉及深度學習領域，尤其涉及一種用于行人重識別的數據增強方法及系統。

背景技術

在基于深度學習的計算機視覺算法中，Drop被定義為“丟棄”，即在神經網絡的一次訓練(包括前向傳播與反向傳播)中，對某些對象進行“丟棄”，使其在一次訓練中不發揮作用。Drop傳統上是一種用來緩解神經網絡訓練中過擬合的有效途徑。

一個Batch，是指一次訓練中，輸入神經網絡的圖像數量。

行人重識別，英文為Person Re-Identification，是一種橫跨圖像分類與圖像檢索之間的、利用人的外觀特征(尤其強調不利用人臉信息)對人身份進行識別的研究方向。

人體關鍵點，是指通過深度學習的方法，將一張圖像中人身上的某些關鍵點標注出來。常用的開源算法有Openpose或AlphaPose。

現有的行人重識別技術方案，在Drop角度來看，有傳統的Dropout以及RandomDrop，或者是前兩年新出現的Patch Drop，以及Batch Dropout方案。在基于人體關鍵點的研究方向上，主流的都是將人體基于關鍵點進行拆分，然后進行對應部位的匹配校正，并在此基礎上再進行識別。

現有的Drop方案，或者是對神經元進行Dropout，或者是對輸入圖像進行RandomDrop，或者是進行Patch Drop，或者是Batch DropBlock。這些方案都是對圖像進行隨機丟棄。這能增加神經網絡一定的魯棒性，但是：

因為是隨機丟棄的，而且行人重識別的輸入圖像中是同時存在前景(人)，以及背景(非人)內容的，因而隨機丟棄并不能保證能夠丟棄到對描述人體特征非常有幫助的部位。因而算法的穩定性并不好，且更容易受到極端樣本的影響。

現有的基于人體關鍵點的研究方向上，都是需要進行基于人體關鍵點的拆分與人體圖像校正，并基于此通過加權的方式來衡量身體各部位對整體識別的影響大小。但是，因為行人的姿態是多種多樣的，因而送入神經網絡以供識別的圖像，其姿態也是多種多樣。當從側面拍攝人的圖像時，在圖像中，人的左右肩及左右胯，在圖像中會重疊到一起。且人體的胳膊、大腿等肢體部位，都會受到不同程度的遮擋。在這種情況下，人體關鍵點檢測算法檢測到的，左右肩和左右胯的關鍵點很容易重合在一起，無法區分。而原本存在于大腿及胳膊上的關鍵點，也會因為遮擋的原因部分或全部丟失。這一方面是人體關鍵點檢測算法的局限性所致，另一方面也是人體姿態的多樣性所致。在目前的技術水平下，這種疊加與丟失，總會導致輸入的人體圖像樣本在分布上存在不均衡的情況，進而會影響神經網絡整體上的性能，即使檢測到了也是疊加到其他部位上。在這個過程中，受限于人體關鍵點檢測算法性能的局限，以及復雜人體姿態的限制，會使得缺少不同身體部位的輸入圖像樣本不均衡，會影響神經網絡整體上的性能。

發明內容

針對上述問題，本發明提供一種用于行人重識別的數據增強方法及系統，用于解決現有的隨機丟棄導致的訓練效率不高、結果不好的問題，并解決人體姿態多樣性導致的各種姿態、各種遮擋下帶來的訓練樣本不均衡的問題。

本發明通過以下技術方案實現：

一種用于行人重識別的數據增強方法，包括以下步驟：

S1.創建圖像預設模板；