[發(fā)明專利]包裹分揀行為的識別方法及其裝置

在審

• 申請?zhí)枺?/td>: 202210168877.6
• 申請日: 2022-02-23
• 公開（公告）號: CN114550294A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 鄭少杰;于偉;陳智勇;王林芳;梅濤;楊琛
• 申請（專利權(quán)）人: 京東科技信息技術(shù)有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06T7/20;G06V10/25;G06V40/10
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 杜月

1.一種包裹分揀行為的識別方法，其特征在于，包括：

對目標(biāo)視頻中的圖像幀進(jìn)行目標(biāo)檢測，獲取至少一個(gè)人體檢測框和至少一個(gè)包裹檢測框；

分別對所述人體檢測框和所述包裹檢測框的運(yùn)動軌跡進(jìn)行跟蹤；

在軌跡跟蹤的過程中，針對任一包裹基于跟蹤到的當(dāng)前運(yùn)動軌跡識別所述任一包裹的被拋出時(shí)刻；

獲取所述任一包裹從所述被拋出時(shí)刻到當(dāng)前時(shí)刻的運(yùn)動信息，并基于所述運(yùn)動信息，對所述任一包裹的分揀行為進(jìn)行識別。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述當(dāng)前運(yùn)動軌跡包括所述人體檢測框?qū)?yīng)的人體運(yùn)動軌跡和所述包裹檢測框?qū)?yīng)的包裹運(yùn)動軌跡，其中，所述針對任一包裹基于跟蹤到的當(dāng)前運(yùn)動軌跡識別所述任一包裹的被拋出時(shí)刻，包括：

將所述任一包裹對應(yīng)的目標(biāo)包裹運(yùn)動軌跡分別與每個(gè)所述人體運(yùn)動軌跡進(jìn)行對比，以獲取已檢測的時(shí)刻上所述任一包裹對應(yīng)的目標(biāo)包裹檢測框與每個(gè)所述人體檢測框之間的目標(biāo)距離；

確定首次出現(xiàn)所述目標(biāo)距離小于距離閾值的時(shí)刻，并作為所述任一包裹的被拋出時(shí)刻。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述任一包裹對應(yīng)的目標(biāo)包裹運(yùn)動軌跡分別與每個(gè)所述人體運(yùn)動軌跡進(jìn)行對比，包括：

從所述目標(biāo)包裹運(yùn)動軌跡上按照從晚到早的順序，獲取每個(gè)圖像幀上所述目標(biāo)包裹檢測框的第一位置信息；

從所述人體運(yùn)動軌跡上獲取同一所述圖像幀上所述人體檢測框的第二位置信息；

根據(jù)所述第一位置信息與對應(yīng)時(shí)刻的所述第二位置信息，獲取所述目標(biāo)距離。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述確定首次出現(xiàn)所述目標(biāo)距離小于距離閾值的時(shí)刻，并作為所述任一包裹的被拋出時(shí)刻，包括：

將首次出現(xiàn)所述目標(biāo)距離小于距離閾值的圖像幀對應(yīng)的時(shí)刻作為包裹的被拋出時(shí)刻。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述第一位置信息與對應(yīng)時(shí)刻的所述第二位置信息，獲取所述目標(biāo)距離，包括：

從所述第二位置信息對應(yīng)的圖像幀中，提取所述第二位置信息標(biāo)記的圖像區(qū)域；

對所述圖像區(qū)域進(jìn)行人體關(guān)鍵點(diǎn)檢測，獲取人體手部位置信息；

獲取所述第一位置信息到所述人體手部位置信息的距離，作為所述目標(biāo)距離。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述運(yùn)動信息，對所述任一包裹的分揀行為進(jìn)行識別，包括：

基于所述運(yùn)動信息，生成所述任一包裹的分揀力度參數(shù)，并根據(jù)所述分揀力度參數(shù)，確定所述任一包裹的分揀行為的分揀力度等級。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述運(yùn)動信息包括所述任一包裹從所述被拋出時(shí)刻到當(dāng)前時(shí)刻的距離值、最大速度、平均速度，以及所述任一包裹從所述被拋出時(shí)刻到所述當(dāng)前時(shí)刻每個(gè)時(shí)刻的運(yùn)動速度和加速度。

8.根據(jù)權(quán)利要求1-7任一項(xiàng)所述的方法，其特征在于，所述分別對所述人體檢測框和所述包裹檢測框的運(yùn)動軌跡進(jìn)行跟蹤，包括：

基于所述人體檢測框的第一標(biāo)識信息，對所述人體檢測框進(jìn)行跟蹤，生成所述人體檢測框?qū)?yīng)的人體運(yùn)動軌跡；

基于所述包裹檢測框的第二標(biāo)識信息，對所述包裹檢測框進(jìn)行跟蹤，生成所述包裹檢測框?qū)?yīng)的包裹運(yùn)動軌跡。

9.一種包裹分揀行為的識別裝置，其特征在于，包括：

第一獲取模塊，用于對目標(biāo)視頻中的圖像幀進(jìn)行目標(biāo)檢測，獲取至少一個(gè)人體檢測框和至少一個(gè)包裹檢測框；

軌跡跟蹤模塊，用于分別對所述人體檢測框和所述包裹檢測框的運(yùn)動軌跡進(jìn)行跟蹤；

第二獲取模塊，用于在軌跡跟蹤的過程中，針對任一包裹基于跟蹤到的當(dāng)前運(yùn)動軌跡識別所述任一包裹的被拋出時(shí)刻；

行為識別模塊，用于獲取所述任一包裹從所述被拋出時(shí)刻到當(dāng)前時(shí)刻的運(yùn)動信息，并基于所述運(yùn)動信息，對所述任一包裹的分揀行為進(jìn)行識別。