[發(fā)明專利]一種基于機器學(xué)習(xí)的企業(yè)員工疲勞監(jiān)測方法和裝置

在審

• 申請?zhí)枺?/td>: 202211465943.2
• 申請日: 2022-11-22
• 公開（公告）號: CN115862059A
• 公開（公告）日: 2023-03-28
• 發(fā)明（設(shè)計）人: 孫浩鑫
• 申請（專利權(quán)）人: 平安銀行股份有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/46;G06V10/82;G06N20/00;G06N3/08;G06N3/0464
• 代理公司: 深圳市倡創(chuàng)專利代理事務(wù)所(普通合伙) 44660
• 代理人: 蘭艷林

1.一種基于機器學(xué)習(xí)的企業(yè)員工疲勞監(jiān)測方法，其特征在于，包括：

通過圖像采集運算裝置采集員工辦公圖像信息，并基于所述辦公圖像數(shù)據(jù)間隔預(yù)設(shè)幀數(shù)進行抽幀處理，以及對所述圖像信息進行至少旋轉(zhuǎn)、拉伸、剪切、平移、翻轉(zhuǎn)和增減亮度、對比度、銳度、噪聲的圖像增強處理，以得到疲勞檢測數(shù)據(jù)幀集；

將所述疲勞檢測數(shù)據(jù)幀集輸入至所述YOLOv5網(wǎng)絡(luò)模型中進行推理，得到至少一人的輪廓信息并標(biāo)記出輪廓識別矩形框，基于所述輪廓信息確定多個人體關(guān)鍵點信息；

基于所述多個人體關(guān)鍵點信息確定至少三個目標(biāo)關(guān)鍵點的關(guān)聯(lián)狀態(tài)，以及持續(xù)時間；

當(dāng)所述至少三個目標(biāo)關(guān)鍵點的關(guān)聯(lián)狀態(tài)滿足第一條件和第二條件時，且超過預(yù)設(shè)持續(xù)時間時，則將所述待處理的疲勞檢測數(shù)據(jù)幀標(biāo)記為存在疲勞工作行為數(shù)據(jù)幀。

2.如權(quán)利要求1所述的企業(yè)員工疲勞監(jiān)測方法，其特征在于，所述對所述圖像信息進行至少旋轉(zhuǎn)、拉伸、剪切、平移、翻轉(zhuǎn)和增減亮度、對比度、銳度、噪聲的圖像增強處理,具體包括：

新建一幀緩存區(qū)以接收特效數(shù)據(jù)，并創(chuàng)建一圖像銳化器，以對其進行圖像增強處理，得到具有特效的圖像數(shù)據(jù)。

3.如權(quán)利要求1所述的企業(yè)員工疲勞監(jiān)測方法，其特征在于，所述基于所述辦公圖像數(shù)據(jù)間隔預(yù)設(shè)幀數(shù)進行抽幀處理和圖像增強以得到疲勞檢測數(shù)據(jù)幀集，具體包括：

將所述輪廓識別矩形框中的圖像調(diào)整為標(biāo)準(zhǔn)尺寸[H_v,W_v]后，進行歸一化提取；

基于嵌入式稀疏性特征選擇策略確定候選者，并提取與所述輪廓識別矩形框中的圖像和所述候選者向?qū)?yīng)的特征參數(shù)，其中，所述候選者寬度和高度分別是所述標(biāo)準(zhǔn)尺寸的1/2；

將調(diào)整后的矩形輸入到殘差神經(jīng)網(wǎng)絡(luò)中，得到并標(biāo)記出至少一人的輪廓信息。

4.如權(quán)利要求3所述的企業(yè)員工疲勞監(jiān)測方法，其特征在于，在所述基于嵌入式稀疏性特征選擇策略確定候選者，并提取與所述輪廓識別矩形框中的圖像和所述候選者向?qū)?yīng)的特征參數(shù)，其中，所述候選者寬度和高度分別是所述標(biāo)準(zhǔn)尺寸的1/2之后，所述方法還包括：

基于嵌入式稀疏性特征選擇策略，選出幾個大小為[H_p,W_p]＝[H_v/2,W_v/2]的候選者，并從所述員工辦公圖像信息上統(tǒng)一提取的特征中抽取相應(yīng)的特征vp。

5.如權(quán)利要求1所述的企業(yè)員工疲勞監(jiān)測方法，其特征在于，所述基于所述多個人體關(guān)鍵點信息確定至少三個目標(biāo)關(guān)鍵點的關(guān)聯(lián)狀態(tài)，以及持續(xù)時間，具體包括：

選定多個指定關(guān)鍵點，所述指定關(guān)鍵點至少包括肩部關(guān)鍵點、肘部關(guān)鍵點、腕部關(guān)鍵點，或者，腰部關(guān)鍵點、膝關(guān)節(jié)關(guān)鍵點以及踝關(guān)節(jié)關(guān)鍵點，當(dāng)所述指定關(guān)鍵點在圖像中的位置與預(yù)設(shè)位置或者關(guān)聯(lián)關(guān)鍵點的角度超過預(yù)設(shè)置信度時，確定運動目標(biāo)在圖像中的狀態(tài)出現(xiàn)異常。

6.如權(quán)利要求5所述的企業(yè)員工疲勞監(jiān)測方法，其特征在于，判斷所述指定關(guān)鍵點在圖像中的位置與預(yù)設(shè)位置或者關(guān)聯(lián)關(guān)鍵點的角度是否超過預(yù)設(shè)置信度的第一條件為：

if((y1_location100)and(y2_location100) (1)

7.如權(quán)利要求6所述的企業(yè)員工疲勞監(jiān)測方法，其特征在于，判斷所述指定關(guān)鍵點在圖像中的位置與預(yù)設(shè)位置或者關(guān)聯(lián)關(guān)鍵點的角度是否超過預(yù)設(shè)置信度的第二條件為：

langle＝calculate_angle(l_hip,l_knee,l_heel) (2)

如果第一條件和條件第二全部滿足，則判斷員工為躺下狀態(tài)，則啟動計時器，計算員工躺下的持續(xù)時長。