[發明專利]一種基于輕量化多任務卷積神經網絡的導購行為分析方法

有效

• 申請號: 201811197730.X
• 申請日: 2018-10-15
• 公開（公告）號: CN109544204B
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 趙云波;林建武;李灝;宣琦
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06N3/04;G06N3/08
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵;黃美娟

1.一種基于輕量化的多任務卷積神經網絡的導購行為分析方法，包含以下步驟：

(1)清洗數據；

步驟11：除去訓練集中帶大量馬賽克的圖片；

首先將行人圖像由三通道的RGB圖像轉為單通道的灰度圖，然后將灰度圖分割成10×10像素的格子塊，分割后格子塊的數量記為m；遍歷每個格子塊，統計每個格子塊灰度值的分布，如果灰度值分布集中在1-4個值上，即可判定該格子塊是馬賽克塊的一部分，n為這種格子塊的總個數；通過公式1計算格子塊的比例：

若rate50％，則認定該圖像的馬賽克占比過多，將該圖像從訓練集中剔除掉；否則，將該圖像保留在訓練集中，在訓練模型的步驟中使用；

步驟12：除去訓練集中模糊行人：

模糊圖像中提取的可利用特征少，不利于網絡的收斂；遍歷所有圖像，將尺寸小于50×50的行人圖像剔除出訓練集；

(2)構建輕量化多任務卷積神經網絡；

步驟21：構建無殘差結構的Bottleneck模塊；

將無殘差結構的Bottleneck封裝成函數模塊；需要設置四個參數：輸入通道數(in_channels)、輸出通道數(out_channels)、擴張系數(expansion_factor)、卷積步長(stride)；

在無殘差結構的Bottleneck模塊中，第一個卷積層Conv1中1×1的卷積核個數為：輸出通道數×擴張系數，其大小為：1×1×(out_channels×expansion_factor)，卷積步長為1，而后對Conv1進行批歸一化處理，接著用非線性函數relu6增加模型非線性表征能力，relu6函數公式為：

f(x)＝max(0,6,x) (2)

第二層卷積層Conv2中3×3的卷積核個數為：輸出通道數×擴張系數，其大小為：3×3×(out_channels×expansion_factor)，卷積步長為3，而后對Conv2進行批歸一化處理，接著用非線性函數relu6增加模型非線性表征能力；

第三層卷積層Conv3中卷積核個數為：輸出通道數，其大小為：1×1×out_channels，卷積步長為1，而后對Conv3進行批歸一化處理，接著用非線性函數relu6增加模型非線性表征能力，最后再加一層BN層；

步驟22：構建帶殘差結構的Bottleneck模塊；

最后得到的輸出特征圖y是兩個特征圖相加，這兩個特征圖分別是輸入特征圖x和輸入特征圖在經過步驟21的Conv1、Conv2、Conv3得到的特征圖f(x)，其相加方式為兩個特征圖每層對應位置上的數值的相加；即如下公式所描述：

y＝f(x)+x (3)

步驟23：構建特征提取模塊；

利用步驟21、步驟22的Bottleneck模塊搭建輕量化的特征提取模塊：

具體地，對于輸入大小為224×224×3的圖像，第一層conv1是一個卷積核大小為3×3×32的卷積層，輸出通道為32，卷積步長為2；

第二層block2是步驟21中無殘差結構的Bottleneck，其輸入參數為(32，16，1，1)，Bottleneck傳入參數的含義分別為(輸入通道數，輸出通道數，擴張系數，卷積步長)；

第三層block3是步驟21中無殘差結構的Bottleneck與步驟22中帶殘差結構的Bottleneck的組合，即對于第二層得到的特征圖，先進行參數為(16，24，6，2)無殘差結構的Bottleneck，得到的特征圖再傳入輸入參數為(24，24，6，1)的帶殘差結構的Bottleneck；

第四層block4由3個Bottleneck模塊組合得到，即對于第三層得到的特征圖，先進行參數為(24，32，6，2)無殘差結構的Bottleneck，得到的特征圖再傳入連續兩個輸入參數為(32，32，6，1)的帶殘差結構的Bottleneck；

第五層block5由4個Bottleneck模塊組合得到，即對于第四層得到的特征圖，先進行參數為(32，64，6，2)無殘差結構的Bottleneck，得到的特征圖再傳入連續三個輸入參數為(64，64，6，1)的帶殘差結構的Bottleneck；

第六層block6由3個Bottleneck模塊組合得到，即對于第五層得到的特征圖，先進行參數為(64，96，6，1)無殘差結構的Bottleneck，得到的特征圖再傳入連續兩個輸入參數為(96，96，6，1)的帶殘差結構的Bottleneck；

第七層block7由3個Bottleneck模塊組合得到，即對于第六層得到的特征圖，先進行參數為(96，160，6，2)無殘差結構的Bottleneck，得到的特征圖再傳入連續兩個輸入參數為(160，160，6，1)的帶殘差結構的Bottleneck；

第八層block8是一個參數為(160，320，6，1)的無殘差結構的Bottleneck；

第九層conv9是一個卷積核大小為1×1×1280的卷積層，進一步的，對于得到的特征圖進行平均池化以及神經元隨機失活操作，最后得到一個維度為1280的向量，該向量作為網絡提取的圖像特征供步驟24使用；

步驟24：構建多任務卷積神經網絡；

在步驟23提取特征之后加入四個并行的全連接層，四個全連接層連接在步驟23所得到的特征向量上，彼此間互不相連；每個全連接層包含2個神經元，分別代表8種屬性或行為，8種屬性或行為是：男性、女性、導購、顧客、站立、坐、玩手機、不玩手機；第一個全連接層的兩個神經元分別用來計算“男性”和“女性”這兩個屬性的置信度，第二個全連接層的兩個神經元分別用來計算“導購”和“顧客”這兩個屬性的置信度，第三個全連接層的兩個神經元分別用來計算“站立”和“坐”這兩個行為的置信度，第四個全連接層的兩個神經元分別用來計算“玩手機”和“不玩手機”這兩個行為的置信度；

最后，對這四個全連接層，分別用四個softmax損失函數進行約束，softmax損失函數的公式為：

其中表示真實標簽的置信度，表示第j項的置信度；通過四個全連接層計算得到的損失值分別記為：L₁，L₂，L₃，L₄，最終得到的損失值為：

Loss＝L₁+L₂+L₃+L₄ (5)

(3)訓練輕量化多任務卷積神經網絡；

步驟31：數據預處理：

對圖像進行隨機水平翻轉、中心隨機裁剪以增強數據數量，以解決圖像數據不多的問題，使數據更加均衡；之后將每張圖片轉成224×224×3的tensor，并歸一化像素值；

步驟32：預訓練模型：

加載多任務卷積神經網絡，采用Adam優化算法，根據四個損失值之和進行反向傳播，優化模型參數；預訓練中每個批次大小為128，學習率為0.001，總共訓練40個epoch；

步驟33：微調模型：

從步驟32中加載在測試集中精度最高的模型，調整學習率為0.0001，利用Adam算法繼續訓練40個epoch。