[發明專利]行為確定方法、裝置、設備及存儲介質

在審

• 申請號: 201911330611.1
• 申請日: 2019-12-20
• 公開（公告）號: CN113011449A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 陳思嬋;張橋;羅剛毅
• 申請（專利權）人: 中移（上海）信息通信科技有限公司;中國移動通信集團有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 趙秀芹

1.一種行為確定方法，其特征在于，所述方法包括：

獲取實時操作圖像；

根據預先訓練得到的行為檢測模型，確定所述實時操作圖像與預存的標準操作圖像之間的余弦相似度和歐氏距離；

根據所述余弦相似度和所述歐式距離，確定所述實時操作圖像和所述標準操作圖像的相似度；

當所述相似度小于預設的相似度閾值，確定所述實時操作圖像中的操作行為不規范。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

從知識圖譜數據庫中獲取目標操作圖像信息；所述目標操作圖像信息包括：標準操作圖像、規范操作圖像和不規范操作圖像；

根據所述標準操作圖像、所述規范操作圖像和所述不規范操作圖像，確定所述余弦相似度閾值和所述歐氏距離閾值；

根據所述余弦相似度閾值和所述歐式距離閾值，計算所述相似度閾值。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

獲取樣本操作圖像；所述樣本操作圖像包括：標準操作圖像、規范操作圖像和不規范操作圖像；所述標準操作圖像、所述規范操作圖像和所述不規范操作圖像中均包括關鍵節點；

確定所述樣本操作圖像中的關鍵節點的坐標值、所述規范操作圖像的關鍵節點坐標值和所述不規范操作圖像的關鍵節點坐標值；

根據所述標準操作圖像中的關鍵節點的坐標值與所述操作標準圖像的對應關系、所述規范操作圖像的關鍵節點坐標值與所述規范操作圖像的對應關系、所述不規范操作圖像的關鍵節點坐標值和所述不規范操作圖像的對應關系，構建操作行為的知識圖譜數據庫。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：

刪除操作圖像不清晰的樣本操作圖像；

刪除關鍵節點數量小于預設值的樣本操作圖像。

5.根據權利要求2所述的方法，其特征在于，所述根據所述標準操作圖像、所述規范操作圖像和所述不規范操作圖像，確定所述余弦相似度閾值和所述歐氏距離閾值，包括：

分別提取所述標準操作圖像、所述規范操作圖像和所述不規范操作圖像的特征向量；

根據所述標準操作圖像、所述規范操作圖像和所述不規范操作圖像分別對應的特征向量，確定所述余弦相似度閾值和所述歐氏距離閾值。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

從知識圖譜數據庫中獲取目標操作圖像信息；所述目標操作圖像信息包括：標準操作圖像、規范操作圖像和不規范操作圖像；

分別提取所述標準操作圖像、所述規范操作圖像和所述不規范操作圖像的特征向量；

根據所述標準操作圖像的關鍵節點坐標值、所述規范操作圖像的關鍵節點坐標值和所述不規范操作圖像的關鍵節點坐標值分別對應的特征向量，訓練得到所述行為檢測模型。

7.根據權利要求1所述的方法，其特征在于，所述方法還包括：

采用梯度下降法調整所述行為檢測模型的參數。

8.根據權利要求1-7任意一項所述的方法，其特征在于，所述方法還包括：

當確定所述實時操作圖像中的操作行為不規范時，生成報警信息；所述報警信息用于通知工作人員施工工人存在不規范操作行為。

9.根據權利要求5或6任意一項所述的方法，其特征在于，所述分別提取所述標準操作圖像、所述規范操作圖像和所述不規范操作圖像的特征向量，包括：

將所述標準操作圖像、所述規范操作圖像和所述不規范操作圖像輸入至VGG16神經網絡，分別提取所述標準操作圖像、所述規范操作圖像和所述不規范操作圖像的特征向量。

10.根據權利要求1或6任意一項所述的方法，其特征在于，所述行為預測模型是二元組網絡模型。