[發明專利]一種機械臂動作識別方法、系統、終端及存儲介質

在審

• 申請號: 202011436504.X
• 申請日: 2020-12-11
• 公開（公告）號: CN112597821A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 楊清波;冷建材;徐舫舟;鄭力文;馮厚強
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 濟南格源知識產權代理有限公司 37306
• 代理人: 韓洪淼

本發明提供一種機械臂動作識別方法、系統、終端及存儲介質，包括：采集機械臂合法動作與非法動作視頻，對視頻進行灰度處理和降噪處理；通過二值化閾值處理判斷機械臂動作是否靜止；利用Conv3D進行模型訓練，生成原級模型，并通過推理證明所述原級模型可用；利用OpenVINO套件對原始模型進行優化，并送入嵌入式設備中進行推理得到最優模型。本發明通過Conv3D模型訓練，對取自在同一場景下機械臂不同動作的灰度視頻進行卷積計算并使用全連接層來將不同動作進行分類，最終做出機械臂動作合法性判斷。

技術領域

本發明屬于動作識別或視頻分類技術領域，具體涉及一種機械臂動作識別方法、系統、終端及存儲介質 。

背景技術

在當今世界的產業發展，越來越多的企業以及工廠離不開工業自動化。在自動化以及智能制造普遍應用的背景下，因自動化設備（如機械臂、機器人、自動化流水線等）大多處于無人監管狀態，而且如果人去監督管理或者操作，危險系數很大。同時工廠機械臂在運行時難免會因程序邏輯不嚴密或者電壓不足或過高而引發機械臂動作異常，造成一系列不必要的損失和浪費，甚至可能損壞機械臂；如果附近有人員通過或者駐留，還有可能造成嚴重的安全事故。針對這種情況，可以使用人工智能深度學習里的計算機視覺進行機械臂動作合法性的判斷，這樣在機械臂本身具有保護裝置的情形下，再通過外置攝像頭拍攝機械臂通過嵌入式網關視覺推理來處理進行機械臂合法動作的判斷，嵌入式網關根據情形和需要將指令自動反饋給機械臂，對機械臂進行父級控制，嚴重時會執行緊急措施例如斷電等，形成二次保障，進一步保證了機械臂的正常運行，避免更多不必要的損失和麻煩。同時減輕人力，保障從業人員安全。

目前，動作識別方案尚未成熟，大多還處于實驗階段，但是在智能汽車行業已有部分應用，例如部分智能汽車品牌加入路上行人姿態識別，還有當今應用較多的手勢識別等。其中有光流法動作識別、二值化閾值模型動作識別等，結合不同應用場景和預算都有不同的動作識別方案，比如對于色彩需求較高的會采用三通道RGB方案進行動作識別，如果對色彩要求不高但是動作場景范圍較大會采用單通道灰度圖像足以滿足需求，如果背景靜態場景復雜但是局部動作表現顯著可以采用二值化閾值模型動作識別。方法多種多樣，應用時非常靈活。此外還有許多研究者探索出更多有效的動作識別方案例如雙流神經網絡，長短時記憶網絡(LSTM)，對抗神經網絡(GAN)框架等。

發明內容

針對現有技術的上述不足，本發明提供一種機械臂動作識別方法、系統、終端及存儲介質 ，以解決上述技術問題。

第一方面，本發明提供一種機械臂動作識別方法，包括：

采集機械臂合法動作與非法動作視頻，對視頻進行灰度處理和降噪處理；

通過二值化閾值處理判斷機械臂動作是否靜止；

利用Conv3D進行模型訓練，生成原級模型，并通過推理證明所述原級模型可用；

利用OpenVINO套件對原始模型進行優化，并送入嵌入式設備中進行推理得到最優模型。

進一步的，所述對視頻進行灰度處理和降噪處理，包括：

并將視頻中的彩色圖像轉化為灰度圖像；

通過高斯濾波算法將圖像信息進行降噪處理。

進一步的，所述通過二值化閾值處理判斷機械臂動作是否靜止包括：

通過計算當前幀和上一幀的幀差對采集的視頻進行二值化閾值處理；

將處理后的視頻數據壓縮一維向量且統計值為255的像素數量；

通過靜止時間是否達到預設閾值來判斷當前幀是否為靜止動作。

進一步的，所述利用Conv3D進行模型訓練，生成原級模型，包括：

在第一層Conv3D中在卷積核大小為4*4*4的情況下得到（None,10,224,224,8）,共520個參數；

再加入一層MaxPooling3D進行池化，得到（None,3,74,74,8），共0個參數；