[發明專利]一種基于計算機視覺的建筑工人勞動狀態分析系統及方法

有效

• 申請號: 201810440997.0
• 申請日: 2018-05-10
• 公開（公告）號: CN108596148B
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 羅德煥;鄧逸川;賀迪;戚明遠;王如鈺;林塏航
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V40/10
• 分類號: G06V40/10
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 王東東

1.一種基于計算機視覺的建筑工人勞動狀態分析系統的分析方法，其特征在于，包括前端采集模塊、計算機及智能監控模塊；

所述前端采集模塊包括體感攝像頭，所述體感攝像頭通過信號傳輸線與計算機連接，所述體感攝像頭架設在工人勞動區域的上方，其視場為勞動區域的各個方向視角，所述計算機與智能監控模塊連接；

分析方法包括如下步驟：

S1采集不同的施工工種各自相應的規范施工動作信息，錄入標準施工動作，建立動作訓練庫；

S2體感攝像頭實時采集現場施工工人勞作的視頻圖像信息，經信息傳輸線傳送到計算機；

S3計算機提取視頻圖像中的人體骨骼信息得到骨骼數據，所述人體骨骼信息包括在一段時間內獲得某個關節點的位置和角度信息；

S4基于動態時間歸整算法，根據采集的關節點的位置和角度信息，與動作訓練庫的標準動作信息進行匹配，識別工人的勞動動作，從而識別出各自相應的勞動動作類型及勞動狀態；

S5將識別結果用于勞動狀態分析，并將分析結果反饋到智能監控模塊；

所述S4中

動態時間歸整算法識別工人的勞動狀態，具體是通過將不同長度的時間序列從時間維度上扭曲成非線性來測量時間維度上的非線性相似度，通過計算所有相似點的最短距離和來衡量兩個時間序列的相似度，DTW將標準動作序列作為模板序列，通過采集現場施工人員的動作序列與模板序列計算出相似度，來判定工人的勞動狀態。

2.根據權利要求1所述的分析方法，其特征在于，通過計算所有相似點的最短距離和來衡量兩個時間序列的相似度，DTW將標準動作序列作為模板序列，通過采集現場施工人員的動作序列與模板序列計算出相似度，來判定工人的勞動狀態，具體步驟為：

給定兩個視頻序列，分別為樣本序列X＝(x₁,...,x_N)和測試序列Y＝(y₁,...,y_M)，得到兩個序列的長度分別是n和m；

確定視頻序列中每一幀的特征值，所述特征值為各視頻幀的動作向量，根據S1提取的標準動作特征，選擇相應關節點構建動作向量，考慮到不同工人的身高體型是有差別的，采用動作向量間夾角的余弦值來作為標準動作序列的值，即：

選定一對序列中點到點的距離函數d(i,j)＝f(x_i,y_j)≥0，即序列X的每一個點和序列Y的每一個點之間的相似度，即：

d(i,j)＝(x_i-y_j)²

求解歸整路徑W＝w1+w2+w3+…+wk；

式中：wk的形式為(i,j)，其中i表示的是X中的i坐標，j表示的是Y中的j坐標；max(n,m)＝k＝n+m；歸整路徑W從w1＝(1,1)開始，到wk＝(n,m)結尾，以保證X和Y中的每個坐標都在W中出現；W中w(i,j)的i和j是單調增加的，即滿足：對wk(i,j)，wk₊₁(i',j')有i＝i'＝i+1，j＝j'＝j+1；

求解歸整路徑是距離最短的一個歸整路徑，即最佳路徑：

D(i,j)＝Dist(i,j)+min[D(i-1,j),D(i,j-1),D(i-1,j-1)]

最佳路徑是使得沿路徑的積累距離達到最小值這條路徑；

將最佳路徑與動作訓練庫的標準動作相匹配，得到工人的動作類型。

3.根據權利要求1所述的分析方法，其特征在于，所述S4中，還包括GestureBuilder訓練器智能識別多人的勞動狀態，具體為：

GestureBuilder體感設備中的手勢訓練器，通過導入Kinect Studio錄制的動作剪輯，人工對剪輯中的動作片段進行標記True或False來引導Kinect進行機器學習，智能進行數據處理。