[發明專利]一種基于注意力機制的餐廳后廚人員行為識別方法

在審

• 申請號: 201911035532.8
• 申請日: 2019-10-29
• 公開（公告）號: CN110826447A
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 顏津;蔡強;毛典輝
• 申請（專利權）人: 北京工商大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于注意力機制的餐廳后廚人員行為識別方法，其特征在于，包括以下步驟：

步驟(1)利用攝像頭采集后廚人員的工作視頻，構建一個視頻有一個明確動作的后廚視頻數據庫，對于視頻數據進行預處理，包括視頻切幀以及提取光流圖像；

步驟(2)為了捕捉視頻中全部有用信息的同時，盡可能減少對餐廳后廚人員行為識別無用的冗余數據，選擇對視頻數據進行稀疏采樣，先將視頻平均分成n部分，再從n部分中隨機采樣得到m個片段，獲得步驟(1)中片段所包含的視頻幀及其光流圖像；

步驟(3)將步驟(2)中獲得的片段的視頻幀、光流圖像輸入到以Conv1為基礎網絡的雙流網絡中，并在空間流網絡中加入了空間注意力機制，使得網絡更加關注于對于餐廳后廚人員行為識別更重要的點，在時間流網絡中，加入了長短時記憶網絡，使得網絡可以更好地捕捉時序信息，經過雙流網絡得到m個片段級空間/時序特征，融合生成n個部分級空間/時序特征，實現部分的一致性，最后將部分級空間/時序特征融合生成一個視頻級空間/時序特征；

步驟(4)再將步驟(3)獲得的視頻級空間特征、視頻級時序特征放入到分類器中進行分類，最后以一定權重進行分類得分融合，完成對于視頻中人體行為的識別。

2.根據權利要求1所述的基于注意力機制的餐飲后廚人員行為識別方法，其特征在于，在步驟(2)中，將n設置為3，m設置為25，即把一個視頻先平均分為3部分，然后在這三部分分別隨機采樣8、9、8個視頻片段。既可以捕捉到整個視頻的有用信息，也可以減少一定時間序列內由于人體行為變化較小甚至沒有變化而產生的冗余信息。

3.根據權利要求1所述的基于注意力機制的餐飲后廚人員行為識別方法，其特征在于：在步驟(3)中，雙流網絡由基于空間注意力機制的空間流網絡和基于長短時記憶網絡的時間流網絡組成，空間流、時間流網絡的基礎網絡Conv1是BNInception，增加了卷積網絡深度的同時，減少了網絡參數，可以充分提取視頻幀中的空間/時序信息；并且為得到部分一致性，分別對視頻三個部分中的片段級特征采用最大池化融合生成3個部分級空間/時序特征；將部分級空間/時序特征以并聯的方式融合起來，得到視頻級空間/時序特征，其通道數為三個部分級空間/時序特征的通道數加和；其中，空間注意力機制是通過學習每個部分級特征各個通道的權重值，給每個部分級特征加以權重，使得對于行為識別有效的部分權重值更大，無效或效果小的部分對應的權重值較小，將得到的權重值與原特征進行點乘，得到基于空間注意力機制的部分級特征。

4.根據權利要求1所述的基于注意力機制的餐廳后廚人員行為識別方法，其特征在于：在步驟(4)中，分類器采用SVM，輸入視頻級空間/時序特征，得到分類得分，并以1.5∶1的權重融合空間流網絡以及時間流網絡得分。