[發(fā)明專利]快件拋投的識(shí)別方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110424165.1
• 申請(qǐng)日: 2021-04-20
• 公開（公告）號(hào): CN113191228A
• 公開（公告）日: 2021-07-30
• 發(fā)明（設(shè)計(jì)）人: 徐夢(mèng)佳;李斯;楊周龍
• 申請(qǐng)（專利權(quán)）人: 上海東普信息科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海漢聲知識(shí)產(chǎn)權(quán)代理有限公司 31236
• 代理人: 胡晶

1.一種快件拋投的識(shí)別方法，其特征在于，包括：

創(chuàng)建Openpose模型，生成快件拋投的正負(fù)樣本集對(duì)Openpose模型進(jìn)行提取人體的骨架信息的訓(xùn)練，得到人體骨架訓(xùn)練集；

創(chuàng)建動(dòng)作分類模型，采用人體骨架訓(xùn)練集對(duì)動(dòng)作分類模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的動(dòng)作分類模型；

采用訓(xùn)練好的動(dòng)作分類模型對(duì)物流分撥中心的快件分揀視頻流進(jìn)行識(shí)別，判斷是否存在快件拋投行為。

2.如權(quán)利要求1所述的快件拋投的識(shí)別方法，其特征在于，所述生成快件拋投的正負(fù)樣本集對(duì)Openpose模型進(jìn)行提取人體的骨架信息的訓(xùn)練進(jìn)一步包括：

在生成快件拋投的正負(fù)樣本集時(shí)，采用Mosaic數(shù)據(jù)增強(qiáng)技術(shù)，每次抽取四張圖像，分別對(duì)四張圖像進(jìn)行翻轉(zhuǎn)、縮放及色域變化操作后，在左上、左下、右上、右下四個(gè)方位依次放置所述四張圖像，將所述四張圖像拼接成一張新的圖像，擴(kuò)充正負(fù)樣本集。

3.如權(quán)利要求1所述的快件拋投的識(shí)別方法，其特征在于，所述生成快件拋投的正負(fù)樣本集對(duì)Openpose模型進(jìn)行提取人體的骨架信息的訓(xùn)練進(jìn)一步包括：

在對(duì)Openpose模型進(jìn)行提取人體的骨架信息的訓(xùn)練時(shí)，采用訓(xùn)練好的state oftheart模型對(duì)正負(fù)樣本集進(jìn)行一次標(biāo)簽生成，并將Openpose模型的ground truth與生成的標(biāo)簽進(jìn)行融合，得到新的標(biāo)簽作為當(dāng)前訓(xùn)練的ground truth。

4.如權(quán)利要求1所述的快件拋投的識(shí)別方法，其特征在于，所述生成快件拋投的正負(fù)樣本集對(duì)Openpose模型進(jìn)行提取人體的骨架信息的訓(xùn)練進(jìn)一步包括：

收集快件拋投的正負(fù)樣本集，采用Openpose模型提取正負(fù)樣本集中的人體骨架信息，所述骨架信息通過前饋網(wǎng)絡(luò)預(yù)測(cè)出人體部位置信度S，同時(shí)預(yù)測(cè)出相應(yīng)部位的親和力向量場(chǎng)L，生成集合S(S1，S2，…，SJ)及集合L(L1，L2，…，LC)，其中J表示每個(gè)骨骼關(guān)節(jié)點(diǎn)包含J個(gè)身體部位置信圖，每個(gè)肢體包含C個(gè)部位親和力向量場(chǎng)；基于集合S及集合L，使用Greedyalgorithm算法生成人體骨骼關(guān)節(jié)連接信息。

5.如權(quán)利要求1所述的快件拋投的識(shí)別方法，其特征在于，所述生成快件拋投的正負(fù)樣本集對(duì)Openpose模型進(jìn)行提取人體的骨架信息的訓(xùn)練進(jìn)一步包括：

采用Openpose模型提取人體關(guān)節(jié)信息，得到關(guān)節(jié)的heatmap；

采用非最大值抑制算法從heatmap中提取關(guān)節(jié)的具體位置，通過關(guān)節(jié)部位置信圖和關(guān)節(jié)部位相似性信息以及關(guān)節(jié)的具體位置獲得肢體連接信息。

6.如權(quán)利要求1所述的快件拋投的識(shí)別方法，其特征在于，所述創(chuàng)建動(dòng)作分類模型，采用人體骨架訓(xùn)練集對(duì)動(dòng)作分類模型進(jìn)行訓(xùn)練進(jìn)一步包括：

創(chuàng)建基于卷積神經(jīng)網(wǎng)絡(luò)的ResNet動(dòng)作分類模型，采用人體骨架訓(xùn)練集對(duì)ResNet動(dòng)作分類模型進(jìn)行訓(xùn)練，對(duì)肢體連接信息進(jìn)行姿態(tài)識(shí)別，獲取人體姿態(tài)信息，識(shí)別人體姿態(tài)信息中手臂關(guān)節(jié)對(duì)應(yīng)的肢體姿態(tài)，提取所述肢體姿態(tài)，創(chuàng)建人體姿態(tài)信息與手臂姿態(tài)信息的對(duì)應(yīng)關(guān)系，得到手臂行為姿態(tài)信息。

7.一種快件拋投的識(shí)別裝置，其特征在于，包括：

數(shù)據(jù)集生成模塊，用于創(chuàng)建Openpose模型，生成快件拋投的正負(fù)樣本集對(duì)Openpose模型進(jìn)行提取人體的骨架信息的訓(xùn)練，得到人體骨架訓(xùn)練集；

分類模塊，用于創(chuàng)建動(dòng)作分類模型，采用人體骨架訓(xùn)練集對(duì)動(dòng)作分類模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的動(dòng)作分類模型；

拋投檢測(cè)模塊，用于采用訓(xùn)練好的動(dòng)作分類模型對(duì)物流分撥中心的快件分揀視頻流進(jìn)行識(shí)別，判斷是否存在快件拋投行為。