[發(fā)明專利]一種基于圖像的電腦操作員的疲勞檢測方法

在審

• 申請?zhí)枺?/td>: 202010536537.5
• 申請日: 2020-06-12
• 公開（公告）號: CN111695510A
• 公開（公告）日: 2020-09-22
• 發(fā)明（設(shè)計(jì)）人: 趙云波;唐敏;朱創(chuàng);孫悅鋮
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 杭州天正專利事務(wù)所有限公司 33201
• 代理人: 王兵;黃美娟

一種基于圖像的電腦操作員的疲勞檢測方法，含有：步驟1：拍攝照片構(gòu)建“電腦操作員”數(shù)據(jù)集，并按照疲勞狀態(tài)分類；步驟2：確定電腦操作員不同疲勞狀態(tài)的類型的圖片對應(yīng)的特征；步驟3：根據(jù)步驟2中訓(xùn)練過程提取的類型特征來判斷測試集中給出的新的圖片屬于什么疲勞狀態(tài)；步驟4：針對步驟3中的測試結(jié)果的準(zhǔn)確性來調(diào)整CNN模型的不同的元素對應(yīng)的權(quán)重和步長的大小并再次進(jìn)行測試直至測試結(jié)果的準(zhǔn)確率符合條件；步驟5：將參數(shù)調(diào)整后的CNN模型部署到帶攝像頭的計(jì)算機(jī)系統(tǒng)中運(yùn)行；步驟6：通過攝像頭實(shí)時獲取電腦操作員的疲勞狀態(tài)的類型并輸出結(jié)果。本發(fā)明實(shí)時獲取電腦操作員的頭部動作和面部特征，判斷電腦操作員的的疲勞狀態(tài)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種電腦操作員的疲勞檢測的方法，適用于電腦操作員的狀態(tài)未知但其頭部動作和面部特征可通過攝像頭清晰獲得的情況。

背景技術(shù)

攝像頭能夠拍攝圖像并將其轉(zhuǎn)化為計(jì)算機(jī)可處理的格式；圖像處理技術(shù)可以對獲得的人的圖片進(jìn)行圖像分析得到電腦操作員的頭部動作；模式識別技術(shù)可以通過計(jì)算機(jī)來處理和判讀數(shù)據(jù)，做到為不同的狀態(tài)實(shí)現(xiàn)分類；針對電腦操作員常有的疲勞狀態(tài)來構(gòu)建數(shù)據(jù)集，可以為模型提供有效的訓(xùn)練數(shù)據(jù)提高檢測結(jié)果的準(zhǔn)確率。

現(xiàn)有疲勞檢測技術(shù)中使用的如生理信號采集等方法，雖然通過采集生理信號來確定電腦操作員的疲勞狀態(tài)比較準(zhǔn)確，但是需要佩戴各種器材，這些儀器普遍價(jià)格高并且很繁重，不利于推廣；有些信號的采集也會影響操作員的正常操作，如眼動信號的采集可能會影響操作員佩戴近視眼鏡，由于每個人的人眼大小和位置有所區(qū)別，也會有一定的誤差；目前公開的通用數(shù)據(jù)集針對特定場景的電腦操作員的疲勞識別存在過擬合現(xiàn)象，效果不是很好。

發(fā)明內(nèi)容

本發(fā)明要克服現(xiàn)有技術(shù)的上述缺點(diǎn)，提出一種基于圖像的電腦操作員的疲勞檢測方法。

本發(fā)明能夠在電腦操作員的疲勞狀態(tài)未知但可以通過攝像頭獲取其頭部的動作和面部特征的情況下對電腦操作員的注意力集中狀況進(jìn)行檢測，提出了基于圖像處理技術(shù)、模式識別技術(shù)的檢測方法，對此類電腦操作員的疲勞狀態(tài)的檢測方法提供了一種思路。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：

一種基于圖像的電腦操作員的疲勞檢測方法，含有以下步驟：

步驟1：針對需要檢測電腦操作員的疲勞狀態(tài)的場景，拍攝照片構(gòu)建“電腦操作員”數(shù)據(jù)集，并按照疲勞狀態(tài)的類型把照片分類；

步驟2：用CNN模型Resnet50模型對自建“電腦操作員”數(shù)據(jù)集中的訓(xùn)練集部分的數(shù)據(jù)進(jìn)行訓(xùn)練，模型根據(jù)各張圖片中電腦操作員的頭部動作和面部特征各個像素點(diǎn)之間的距離關(guān)系來確定電腦操作員不同疲勞狀態(tài)的類型的圖片對應(yīng)的特征；

步驟3：運(yùn)用CNN模型Resnet50模型對自建“電腦操作員”數(shù)據(jù)集中的訓(xùn)練集部分的數(shù)據(jù)進(jìn)行測試，模型根據(jù)步驟2中訓(xùn)練過程提取的圖片中電腦操作員不同疲勞狀態(tài)的類型的特征來判斷測試集中給出的新的圖片中的電腦操作員屬于什么疲勞狀態(tài)；

步驟4：針對步驟3中的測試結(jié)果的準(zhǔn)確性和來調(diào)整CNN模型Resnet50模型中的不同的元素對應(yīng)的權(quán)重和步長的大小并再次進(jìn)行測試直至測試結(jié)果的準(zhǔn)確率符合條件；

步驟5：將參數(shù)調(diào)整后的CNN模型部署到帶攝像頭的計(jì)算機(jī)系統(tǒng)中運(yùn)行；

步驟6：通過攝像頭實(shí)時獲取電腦操作員的疲勞狀態(tài)的類型并輸出結(jié)果。

優(yōu)選地，步驟1所述的電腦操作員疲勞狀態(tài)不同疲勞狀態(tài)的類型的圖片對應(yīng)的特征包括：打哈欠、閉眼、低頭瞌睡。

優(yōu)選地，步驟1所述的拍攝照片的數(shù)量在2000張以上。