[發明專利]一種圖像數據自動增強的方法

在審

• 申請號: 202010559031.6
• 申請日: 2020-06-18
• 公開（公告）號: CN111882492A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 侯巒軒;馬鑫;赫然;孫哲南
• 申請（專利權）人: 天津中科智能識別產業技術研究院有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 天津市三利專利商標代理有限公司 12107
• 代理人: 韓新城

1.一種圖像數據自動增強的方法，其特征在于，包括步驟：

S1.將圖像送入基于空洞卷積的特征金字塔網絡檢測，輸出人體用邊界框標記的人體圖像，并將上述人體圖像裁剪成預定格式大小輸出；

S2.建立圖像數據增強操作模型；創建搜索空間，將圖像數據增強操作模型中多個圖像節點通過可微分的搜索方法自動搜索學習形成最優路徑，搜索結束時通過用預定操作替換每個混合操作來獲得離散的數據擴充序列，形成訓練數據；所述最優路徑與不同圖像節點所對應的操作，構成自動搜索的圖像增強策略；

S3.以裁剪完成的含有人體圖像和對應人體骨架關鍵點的標注信息，以及通過反饋設置的自動圖像數據增強模型的參數為輸入，以訓練集中用x、y軸坐標形式標出的表現為json文件的人體關鍵點標注信息像作為GroundTruth，訓練深度神經網絡模型中的全局網絡和矯正網絡，獲得從人體圖像到人體關鍵點圖像的人體姿態估計模型；

S4.不斷地優化人體姿態估計模型的損失函數，實時反饋到圖像數據增強操作中，自動交替優化圖像數據增強模型的損失函數，完成圖像數據增強的操作。

2.根據權利要求1所述圖像數據自動增強的方法，其特征在于，所述搜索空間由K個子策略組成，每個子策略由N個增強操作組成，上述增強操作按順序應用于單個人體圖像，將選定的增強操作以指定的概率P應用于單個人體圖像,根據數據擴充的范圍M對單個人體圖像進行增強操作。

3.根據權利要求2所述圖像數據自動增強的方法，其特征在于，所述可微搜索算法，具體步驟是，令O為一組候選數據擴充，其中每個增強操作表示要應用的函數o(·)，將指定增強操作的分類選擇放寬到所有增強操作上的softmax，序列搜索的任務為學習一組連續變量α＝{α(i，j)}；搜索結束時，通過用預定操作替換每個混合操作來獲得離散的數據擴充序列。

4.根據權利要求1所述圖像數據自動增強的方法，其特征在于，所述自動交替優化圖像數據增強模型的損失函數包括L_train和L_val，分別表示訓練損失和驗證損失，兩種損失均由數據增強序列架構α和網絡中的權重w決定；

通過聯合優化L₂+L_train+L_val得到一個自動增強圖像數據的網絡。

5.根據權利要求1所述人體圖像關鍵點姿態估計方法，其特征在于，通過全局網絡的ResNet50網絡對輸入有人體圖像處理，得到不同尺寸的特征圖輸出，采用自底向上的U-Shape結構，將每一層特征圖進行自底向上做采樣后進行加和后進行預測操作；其中，用與GroudTruth進行L₂損失函數計算以進行損失約束；通過預測操作進行預定卷積步驟處理后，生成不同關鍵點的熱力圖，從而得到初始人體關鍵點；

將全局網絡中每一層加和的特征圖，通過Dilated Bottleneck后分別進行上采樣，然后進行concat操作后通過Bottleneck，并采用基于難檢測關鍵點的L₂^*損失約束，隨后通過卷積進行熱力圖生成，修正初始的人體關鍵點，得到最終的人體關鍵點；模型迭代多次穩定后，完成人體姿態估計模型的訓練；

L₂^*為矯正網絡的輸出的N個關鍵點損失中最大的M個，只保留M個關鍵點損失計入矯正網絡損失函數L₂ Loss，每個關鍵點均由L₂計算出。