[發(fā)明專(zhuān)利]一種工人作業(yè)工步規(guī)范視覺(jué)識(shí)別判定與指導(dǎo)方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010556196.8
• 申請(qǐng)日: 2020-06-17
• 公開(kāi)（公告）號(hào): CN111881733B
• 公開(kāi)（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 杜俊志;易王畫(huà);方波
• 申請(qǐng)（專(zhuān)利權(quán)）人: 艾普工華科技（武漢）有限公司
• 主分類(lèi)號(hào): G06V40/20
• 分類(lèi)號(hào): G06V40/20;G06V20/40;G06V10/764;G06V10/762
• 代理公司: 武漢藍(lán)寶石專(zhuān)利代理事務(wù)所(特殊普通合伙) 42242
• 代理人: 廉海濤

1.一種工人作業(yè)工步規(guī)范視覺(jué)識(shí)別判定與指導(dǎo)方法，其特征在于，包括：

獲取標(biāo)準(zhǔn)作業(yè)流程的標(biāo)準(zhǔn)人手軌跡序列及工步配置信息，實(shí)時(shí)捕捉工人作業(yè)的視頻流，以獲取工人每一次作業(yè)的實(shí)際人手軌跡序列；

對(duì)比所述標(biāo)準(zhǔn)人手軌跡序列和所述實(shí)際人手軌跡序列的相似性，若判斷獲知相似性在預(yù)設(shè)范圍內(nèi)，則基于所述工步配置信息進(jìn)行相應(yīng)的工步提示和信息提示；

所述獲取標(biāo)準(zhǔn)作業(yè)流程的標(biāo)準(zhǔn)人手軌跡序列，具體包括：

獲取標(biāo)準(zhǔn)作業(yè)的視頻流，逐幀讀取所述視頻流；

提取所述視頻流中包含人手的圖片，并獲取圖片中人手的位置；

將人手中心點(diǎn)位置的坐標(biāo)組序列作為標(biāo)準(zhǔn)人手軌跡序列，保存至本地文件夾，以便后續(xù)實(shí)際作業(yè)監(jiān)測(cè)調(diào)用比對(duì)；

所述提取所述視頻流中包含人手的圖片，并獲取圖片中人手的位置，具體包括：

將人手與背景進(jìn)行對(duì)比度強(qiáng)化處理，使每一幀圖片二值化，即圖片的數(shù)據(jù)矩陣中只有0和1；

將每一幀的上一幀作為背景，記錄下來(lái)；同時(shí)更新先前得到的背景的權(quán)重，將最新的一幀背景的權(quán)重設(shè)為w，當(dāng)前各幀累加的背景權(quán)重為1-w；將當(dāng)前幀與背景做邏輯運(yùn)算，將背景從當(dāng)前幀中去除；

基于工人的作業(yè)區(qū)間，將檢測(cè)區(qū)間從整個(gè)圖片中抽取出；

在抽取的區(qū)間中找到等高線，即數(shù)據(jù)矩陣中所有數(shù)值為1的地方的邊緣，查找檢測(cè)區(qū)間中的等高線并累積，取等高線的中心作為人手的位置；

所述查找檢測(cè)區(qū)間中的等高線并累積，取等高線的中心作為人手的位置，具體包括：

篩選個(gè)數(shù)大于第一閾值的等高線，若沒(méi)有則認(rèn)為當(dāng)前幀中沒(méi)有人手，若有則累積提取的等高線，找出等高線在x軸和y軸上的范圍；

若在任何一個(gè)方向上的范圍不大于第二閾值，則判斷獲知當(dāng)前幀中只有一只人手，取等高線的中心作為人手的位置；

若在任何一個(gè)方向上的范圍大于第二閾值，則基于聚類(lèi)算法除去當(dāng)前幀中非人手因素造成的異類(lèi)點(diǎn)，并取等高線的中心作為人手的位置，其中，利用聚類(lèi)算法將所有的點(diǎn)分為兩類(lèi)，分別計(jì)算出兩類(lèi)點(diǎn)的x和y的取值范圍，如果x和y的取值范圍都小于第三閾值，則確定該類(lèi)點(diǎn)為異類(lèi)點(diǎn)。

2.根據(jù)權(quán)利要求1所述的工人作業(yè)工步規(guī)范視覺(jué)識(shí)別判定與指導(dǎo)方法，其特征在于，若判斷獲知當(dāng)前機(jī)型無(wú)相應(yīng)的工步配置信息，則自動(dòng)保存本次作業(yè)視頻，以供后續(xù)實(shí)際作業(yè)監(jiān)測(cè)調(diào)用比對(duì)。

3.根據(jù)權(quán)利要求1所述的工人作業(yè)工步規(guī)范視覺(jué)識(shí)別判定與指導(dǎo)方法，其特征在于，實(shí)時(shí)捕捉工人作業(yè)的視頻流前，還包括：

基于當(dāng)前產(chǎn)品的作業(yè)區(qū)域，產(chǎn)品的類(lèi)型、型號(hào)，所在的工序，作業(yè)區(qū)域內(nèi)的標(biāo)準(zhǔn)作業(yè)軌跡序列，以及每個(gè)工步對(duì)應(yīng)的標(biāo)準(zhǔn)作業(yè)軌跡序列及其方差得到當(dāng)前工步的算法參數(shù)；所述工序包括工步，每個(gè)工步對(duì)應(yīng)的標(biāo)準(zhǔn)時(shí)長(zhǎng)，正常提示信息和異常提示信息。

4.根據(jù)權(quán)利要求1所述的工人作業(yè)工步規(guī)范視覺(jué)識(shí)別判定與指導(dǎo)方法，其特征在于，對(duì)比所述標(biāo)準(zhǔn)人手軌跡序列和所述實(shí)際人手軌跡序列的相似性，具體包括：

若判斷獲知進(jìn)入工步開(kāi)始計(jì)時(shí)，則開(kāi)始對(duì)比該工步內(nèi)部的軌跡序列相似性；

每次取出m幀的軌跡，與標(biāo)準(zhǔn)人手軌跡序列上m幀的記錄計(jì)算方差，從當(dāng)前所對(duì)應(yīng)的幀數(shù)的前后m幀中去遍歷，每次后移1幀，記錄下最大的方差；如果方差大于預(yù)設(shè)方差閾值f，則判斷此時(shí)的軌跡偏離了正確操作路線。

5.一種工人作業(yè)工步規(guī)范視覺(jué)識(shí)別判定與指導(dǎo)裝置，能夠?qū)崿F(xiàn)權(quán)利要求1~4任一項(xiàng)所述的工人作業(yè)工步規(guī)范視覺(jué)識(shí)別判定與指導(dǎo)方法，其特征在于，包括：

第一模塊，獲取標(biāo)準(zhǔn)作業(yè)流程的標(biāo)準(zhǔn)人手軌跡序列及工步配置信息，實(shí)時(shí)捕捉工人作業(yè)的視頻流，以獲取工人每一次作業(yè)的實(shí)際人手軌跡序列；

第二模塊，對(duì)比所述標(biāo)準(zhǔn)人手軌跡序列和所述實(shí)際人手軌跡序列的相似性，若判斷獲知相似性在預(yù)設(shè)范圍內(nèi)，則基于所述工步配置信息進(jìn)行相應(yīng)的工步提示和信息提示。

6.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至4任一項(xiàng)所述工人作業(yè)工步規(guī)范視覺(jué)識(shí)別判定與指導(dǎo)方法的步驟。

7.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至4任一項(xiàng)所述工人作業(yè)工步規(guī)范視覺(jué)識(shí)別判定與指導(dǎo)方法的步驟。