[發明專利]一種基于深度學習的人體輪廓提取方法

有效

• 申請號: 201810582283.3
• 申請日: 2018-06-07
• 公開（公告）號: CN109033945B
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 王林;董楠
• 申請（專利權）人: 西安理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 王歡

1.一種基于深度學習的人體輪廓提取方法，其特征在于，具體按照以下步驟實施：

步驟1，提取原始圖像的Gabor紋理特征；

步驟2，提取原始圖像的Canny邊緣特征；

步驟3，搭建適用于人體輪廓提取的卷積神經網絡架構：

步驟3.1，以VGG16網絡模型為基礎對VGG16網絡結構進行修改，將VGG16網絡模型中的5個卷積層縮減至4個，每個卷積層后接一個池化層，選擇最大池化，池化窗口大小選擇為2*2，移動步長為2；

設P為未知點的像素，Q₁₁,Q₁₂,Q₂₁,Q₂₂為P點周圍已知像素的四個點，則已知函數f在Q₁₁＝(x₁,y₁)，Q₁₂＝(x₁,y₂)，Q₂₁＝(x₂,y₁)和Q₂₂＝(x₂,y₂)四個點的值，通過在x方向進行線性插值，得到兩個中間點R₁，R₂的像素值f(R₁)和f(R₂)，則將被池化的層填充得到原圖像的大小：

其中，R₁＝(x,y₁)，R₂＝(x,y₂)；

再結合R₁，R₂在y方向進行線性插值，得到未知點P的像素值f(P)：

最終得到未知點P的像素結果f(x,y)為：

進而生成反卷積結構；

步驟3.2，在步驟3.1的基礎上引入網絡中網絡，即將每個原始的卷積層結構替換為MLP卷積層結構，具體為：

在一個原始卷積層后接若干個卷積核為1×1的卷積層，通過式(13)計算每一卷積層對上一卷積層的特征圖：

式(13)中，(x,y)是特征圖的像素索引，a_xy是中心在(x,y)的輸入塊，k_t為特征圖的索引，t為MPL的層數，f為激活函數，w為權值系數，b為偏置；

再通過ReLU激活輸出當前層的特征圖；

步驟3.3，在經步驟3.2處理的卷積層與反卷積層之間加入dropout層防止網絡過擬合，則構成一個對稱的卷積神經網絡；

卷積神經網絡為：

第一層為輸入層，該層輸入尺寸為：224*224*12；

第二層為卷積層，該層輸入尺寸為：112*112*8；

第三層為卷積層，該層輸入尺寸為：56*56*16；

第四層為卷積層，該層輸入尺寸為：28*28*32；

第五層為dropout層，該層輸入尺寸為：28*28*64；

第六層為反卷積層，該層輸出尺寸為：56*56*32；

第七層為反卷積層，該層輸出尺寸為：112*112*16；

第八層為反卷積層，該層輸出尺寸為：224*224*8；

第九層為輸出層，該層輸出尺寸為224*224*1；

每個卷積層都有三個卷積子層，每兩個3*3卷積核中間為一個1*1卷積核；

步驟4，將原始圖像、步驟1提取的Gabor紋理特征圖、步驟2提取的Canny邊緣特征圖共同傳入步驟3構建好的卷積神經網絡進行訓練，生成CNN人物模型；

步驟4.1，將步驟1得到的8個方向的Gabor特征、步驟2得到的Canny邊緣特征及原始圖像的RGB三通道特征組成12個特征通道；

步驟4.2，將步驟4.1得到的12個特征通道的圖像尺寸調整為224*224，再將12個特征通道傳入步驟3構建好的卷積神經網絡，以原始圖像的groundtruth標簽圖作為CNN的教師信號進行訓練，生成CNN人物模型；

步驟5，對訓練好的CNN人物模型的結構進行測試，得到人體輪廓圖像；

步驟6，通過步驟5的測試過程記錄人體輪廓圖像的重疊率與耗時，對人體輪廓圖像進行評估。