[發(fā)明專利]一種機(jī)械臂動作識別方法、系統(tǒng)、終端及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011436504.X
• 申請日: 2020-12-11
• 公開（公告）號: CN112597821A
• 公開（公告）日: 2021-04-02
• 發(fā)明（設(shè)計(jì)）人: 楊清波;冷建材;徐舫舟;鄭力文;馮厚強(qiáng)
• 申請（專利權(quán)）人: 齊魯工業(yè)大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南格源知識產(chǎn)權(quán)代理有限公司 37306
• 代理人: 韓洪淼

1.一種基于Conv3D的機(jī)械臂動作識別方法，其特征在于，包括：

采集機(jī)械臂合法動作與非法動作視頻，對視頻進(jìn)行灰度處理和降噪處理；

通過二值化閾值處理判斷機(jī)械臂動作是否靜止；

利用Conv3D進(jìn)行模型訓(xùn)練，生成原級模型，并通過推理證明所述原級模型可用；

利用OpenVINO套件對原始模型進(jìn)行優(yōu)化，并送入嵌入式設(shè)備中進(jìn)行推理得到最優(yōu)模型。

2.根據(jù)權(quán)利要求1所述的一種機(jī)械臂動作識別方法，其特征在于，所述對視頻進(jìn)行灰度處理和降噪處理，包括：

并將視頻中的彩色圖像轉(zhuǎn)化為灰度圖像；

通過高斯濾波算法將圖像信息進(jìn)行降噪處理。

3.根據(jù)權(quán)利要求1所述的一種機(jī)械臂動作識別方法，其特征在于，所述通過二值化閾值處理判斷機(jī)械臂動作是否靜止包括：

通過計(jì)算當(dāng)前幀和上一幀的幀差對采集的視頻進(jìn)行二值化閾值處理；

將處理后的視頻數(shù)據(jù)壓縮一維向量且統(tǒng)計(jì)值為255的像素?cái)?shù)量；

通過靜止時(shí)間是否達(dá)到預(yù)設(shè)閾值來判斷當(dāng)前幀是否為靜止動作。

4.根據(jù)權(quán)利要求1所述的一種機(jī)械臂動作識別方法，其特征在于，所述利用Conv3D進(jìn)行模型訓(xùn)練，生成原級模型，包括：

在第一層Conv3D中在卷積核大小為4*4*4的情況下得到(None,10,224,224,8),共520個(gè)參數(shù)；

再加入一層MaxPooling3D進(jìn)行池化，得到(None,3,74,74,8)，共0個(gè)參數(shù)；

再加入一層Conv3D，卷積核大小為3*3*3，輸出為(None,3,74,74,16)，共3472個(gè)參數(shù)；

再加入MaxPooling3D進(jìn)行池化得到(None,1,37,37,16)；

加入Flatten層將數(shù)據(jù)壓縮為一維化，得到(None，21904)；

進(jìn)行第一次全連接Dense得到(None,128)；

重復(fù)加入Dropout層進(jìn)行全連接處理，輸出(None，2)的原級模型。

5.根據(jù)權(quán)利要求1所述的一種機(jī)械臂動作識別方法，其特征在于，所述利用OpenVINO套件對原始模型進(jìn)行優(yōu)化，并送入嵌入式設(shè)備中進(jìn)行推理得到最優(yōu)模型，包括：

根據(jù)原級模型調(diào)整輸入shape，將原級模型轉(zhuǎn)為部署OpenVINO的權(quán)重文件；在計(jì)算機(jī)環(huán)境下調(diào)試并得出最優(yōu)權(quán)重文件，并送入嵌入式設(shè)備結(jié)合MYRIAD進(jìn)行推理；

接入攝像頭或者視頻文件，利用MYRIAD對最優(yōu)權(quán)重文件進(jìn)行實(shí)時(shí)視頻推理，調(diào)整機(jī)械臂與攝像頭的擺放位置與角度，得到最優(yōu)模型

6.根據(jù)權(quán)利要求1所述的一種機(jī)械臂動作識別方法，其特征在于，所述卷積核的計(jì)算公式包括：

其中，卷積輸入：(N，C_in，D_in，H_in，W_in)，卷積輸出：(N，C_out，D_out，H_out，W_out)；

其中D_in表示視頻輸入幀數(shù)，D_out表示視頻輸出幀數(shù)，H_in表示視頻輸入高度，H_out表示視頻輸出高度，W_in表示視頻輸入寬度，W_out表示視頻輸出寬度，C_in表示視頻輸入的通道數(shù)，C_out表示卷積后視頻輸出的通道數(shù)，dilation表示卷積核的膨脹，stride表示filter在原圖上掃描時(shí)，需要跳躍的格數(shù)。