[發明專利]融合RGBD多模態信息的行人輪廓跟蹤方法

有效

• 申請號: 201910389276.6
• 申請日: 2019-05-10
• 公開（公告）號: CN110111351B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 周雪;周政;鄒見效;徐紅兵
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T7/12;G06T7/194;G06T7/246
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 溫利平;陳靚靚

1.一種融合RGBD多模態信息的行人輪廓跟蹤方法，其特征在于，包括以下步驟：

S1：構建行人目標置信圖獲取模型，包括RGB目標分割卷積網絡模塊，Depth目標分割卷積網絡模塊、特征圖疊加模塊、卷積模塊和置信圖融合模塊，其中：

RGB目標分割卷積網絡模塊以RGB圖像作為輸入，輸出為行人目標分割的置信圖T_RGB，將最后一層特征圖F_RGB輸出至特征圖疊加模塊，將置信圖T_RGB輸出至融合模塊；

Depth目標分割卷積網絡模塊以RGB圖像對應的Depth圖像作為輸入，輸出為行人目標分割的置信圖T_Depth，將最后一層特征圖F_Depth輸出至特征圖疊加模塊，將置信圖T_Depth輸出至融合模塊；

特征圖疊加模塊對特征圖F_RGB和特征圖F_Depth進行疊加，得到特征圖F_sw并輸出至卷積模塊；

卷積模塊用于對特征圖F_SW進行卷積操作，得到概率轉換圖SW并輸出至融合模塊，其中卷積操作表達式如下：

SW＝h(W_SW*F_SW+b_SW)

其中，W_SW和b_SW分別為1*1卷積核的權重參數和偏置項權重參數，h(·)表示激活函數；

置信圖融合模塊根據概率轉換圖SW，對接收的置信圖T_RGB、置信圖T_Depth進行融合，得到融合后的置信圖T_fused，其中融合操作表達式如下：

T_fused＝SW⊙T_RGB+(1-SW)⊙T_Depth

其中，⊙表示對應元素相乘；

S2：獲取若干訓練樣本，每個訓練樣本包括包含行人目標的RGB圖像、對應Depth圖像以及行人目標分割標簽，行人目標分割標簽用于表征各個像素是屬于行人目標還是背景；

S3：對行人目標置信圖獲取模型采用以下方法進行訓練：

S3.1：采用訓練樣本中的RGB圖像作為輸入，對RGB目標分割卷積網絡模塊進行訓練，訓練過程中對輸出的置信圖采用閾值法獲取行人目標分割結果，與行人目標分割標簽進行誤差計算；

S3.2：采用訓練樣本中的Depth圖像作為輸入，對Depth目標分割卷積網絡模塊進行訓練，訓練過程中對輸出的置信圖采用閾值法獲取行人目標分割結果，與行人目標分割標簽進行誤差計算；

S3.3：將行人目標置信圖獲取模型中RGB目標分割卷積網絡模塊按照步驟S3.1的訓練結果進行初始化，Depth目標分割卷積網絡模塊按照步驟S3.2的訓練結果進行初始化，采用訓練樣本中的RGB圖像作為RGB目標分割卷積網絡模塊的輸入，對應的Depth圖像作為Depth目標分割卷積網絡模塊的輸入，對行人目標置信圖獲取模型進行訓練，訓練過程中對輸出的融合置信圖采用閾值法獲取行人目標分割結果，與行人目標分割標簽進行誤差計算；

S4：獲取行人視頻序列，手工標定第一幀圖像中行人的輪廓，然后對于后續圖像，將RGB圖像和對應的Depth圖像輸入行人目標置信圖獲取模型，得到融合置信圖，將融合置信圖作為輪廓演化的外部能量輸入引導輪廓進行演化，得到當前圖像行人輪廓跟蹤結果。

2.根據權利要求1所述的行人輪廓跟蹤方法，其特征在于，所述RGB目標分割卷積網絡模塊和Depth目標分割卷積網絡模塊采用OSVOS網絡，當OSVOS網絡的輸入為Depth圖像時，需要將單通道的Depth圖像轉換成三通道的圖像，具體方法為：首先對Depth圖像進行空洞填充，然后對空洞填充后的Depth圖像進行編碼，生成三通道的RGB圖像。