[發(fā)明專利]一種基于動作管道在線關(guān)聯(lián)的智聯(lián)生產(chǎn)線行為識別方法

在審

• 申請?zhí)枺?/td>: 202111411477.5
• 申請日: 2021-11-25
• 公開（公告）號: CN114078226A
• 公開（公告）日: 2022-02-22
• 發(fā)明（設(shè)計）人: 甘明剛;蘇紹文;王晴;張琰;何玉軒;馬千兆;劉晉廷;杜堯
• 申請（專利權(quán)）人: 北京理工大學(xué)
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/764;G06K9/62
• 代理公司: 北京理工大學(xué)專利中心 11120
• 代理人: 袁瑞霞

本發(fā)明提出了一種基于動作管道在線關(guān)聯(lián)的智聯(lián)生產(chǎn)線行為識別方法，采用多標準相似性匹配的動作管道在線關(guān)聯(lián)算法，能夠得到更精準的視頻級動作檢測結(jié)果。本發(fā)明采用視覺傳感器獲取生產(chǎn)線視頻數(shù)據(jù)，經(jīng)幀級動作檢測模型實時檢測輸出檢測框，采用包含類別一致性、類別置信度、空間重疊程度、外觀相似性以及時空相似性的多標準相似性匹配的原則對檢測框進行在線關(guān)聯(lián)，實時輸出視頻級行為識別結(jié)果，即動作管道，提升了行為識別的準確性，尤其是對于空間位置變化大、速度快的行為類別，其識別效果取得了明顯提升，更加適應(yīng)智聯(lián)生產(chǎn)線上的復(fù)雜應(yīng)用場景。

技術(shù)領(lǐng)域

本發(fā)明涉及智聯(lián)生產(chǎn)線人機交互協(xié)同領(lǐng)域，具體涉及一種基于動作管道在線關(guān)聯(lián)的智聯(lián)生產(chǎn)線行為識別方法。

背景技術(shù)

在新一代人工智能技術(shù)和信息與通信技術(shù)的推動下，汽車、電子、家電等行業(yè)正在從大規(guī)模定制化生產(chǎn)向大規(guī)模個性化定制方向轉(zhuǎn)變，這給生產(chǎn)線的組織、信息處理、系統(tǒng)運行和人機物協(xié)同等方面提出了新的挑戰(zhàn)。其中，機器如何理解操作人員意圖，對操作人員進行行為識別是智聯(lián)生產(chǎn)線在人機交互協(xié)同中的一個難點。

智聯(lián)生產(chǎn)線行為識別目前主要通過視覺方法來實現(xiàn)，具體是利用計算機視覺中的時空動作檢測任務(wù)，采用“動作檢測”代指智聯(lián)生產(chǎn)線中的“行為識別”，其檢測包含行為時空位置的確定以及目標行為類別的確定。時空動作檢測任務(wù)以視覺傳感器獲取的視覺信息作為輸入，通過檢測模型以檢測框的形式輸出幀級動作檢測結(jié)果，幀級動作檢測結(jié)果包含檢測框在一幀圖像中的空間位置及其動作類別；然后通過關(guān)聯(lián)算法輸出視頻級動作檢測結(jié)果，視頻級動作檢測結(jié)果包含動作管道在視頻中的時空位置及其類別，其中動作管道由連續(xù)幀上的檢測框構(gòu)成。

在產(chǎn)品生產(chǎn)過程中，人和機器需要實時進行交互，所以無法等待視頻錄制結(jié)束再輸出檢測結(jié)果，需要實時準確地產(chǎn)生動作管道的輸出，無法獲知未來時刻的幀級檢測框，也無法對過去的動作管道關(guān)聯(lián)進行修改。由于生產(chǎn)線視頻背景的復(fù)雜性，類間分布的差異性，運動或散焦導(dǎo)致的視角變化及模糊，時空動作檢測仍然是一個極具挑戰(zhàn)性的任務(wù)，目前僅依賴相鄰幀的幀級檢測框空間重疊程度進行貪婪關(guān)聯(lián)的算法，難以應(yīng)對生產(chǎn)線的多人協(xié)作與生產(chǎn)動作復(fù)雜等情況。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提出了一種基于動作管道在線關(guān)聯(lián)的智聯(lián)生產(chǎn)線行為識別方法，采用多標準相似性匹配的動作管道在線關(guān)聯(lián)算法，能夠得到更精準的視頻級動作檢測結(jié)果。

為實現(xiàn)上述目的，本發(fā)明技術(shù)方案如下：

本發(fā)明的一種基于動作管道在線關(guān)聯(lián)的智聯(lián)生產(chǎn)線行為識別方法，包括以下步驟：

步驟1，在初始時刻，獲取智聯(lián)生產(chǎn)線上視頻信息對應(yīng)的幀級動作檢測結(jié)果，所述幀級動作檢測結(jié)果包含多個候選檢測框以及候選檢測框的類別置信度得分；對候選檢測框進行非最大值抑制，去除重疊程度較高的檢測框，保留M_t＝1個檢測框，并按照置信度得分進行排序；以保留的M_t＝1個檢測框分別作為動作管道的第一幀檢測框，創(chuàng)建M_t＝1個動作管道，動作管道的得分為對應(yīng)檢測框的類別置信度得分，按照動作管道的得分對動作管道進行排序，動作管道初始化完畢；

步驟2，在當(dāng)前時刻，獲取智聯(lián)生產(chǎn)線上視頻信息對應(yīng)的幀級動作檢測結(jié)果，所述幀級動作檢測結(jié)果包含多個候選檢測框以及候選檢測框的類別置信度得分；對當(dāng)前時刻的候選檢測框進行非最大值抑制，去除重疊程度較高的檢測框，保留N個檢測框，并按照置信度得分進行排序；

步驟3，計算當(dāng)前時刻仍然存活的動作管道與步驟2得到的N個檢測框之間的關(guān)聯(lián)得分矩陣，其中，第i個動作管道與第j個檢測框的關(guān)聯(lián)得分具體為：

其中，label為動作類別一致性得分；λ_c為類別置信度得分confidence的權(quán)重，λ_s為空間重疊度得分overlap的權(quán)重，λ_A為外觀相似度得分appearance的權(quán)重，λ_R為時空關(guān)系得分relation的權(quán)重；