[發(fā)明專利]睡覺(jué)行為的監(jiān)控方法、裝置、計(jì)算機(jī)設(shè)備和可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010655497.6
• 申請(qǐng)日: 2020-07-09
• 公開(kāi)（公告）號(hào): CN112001230A
• 公開(kāi)（公告）日: 2020-11-27
• 發(fā)明（設(shè)計(jì)）人: 袁林俊;潘華東;殷俊;張興明
• 申請(qǐng)（專利權(quán)）人: 浙江大華技術(shù)股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 杭州華進(jìn)聯(lián)浙知識(shí)產(chǎn)權(quán)代理有限公司 33250
• 代理人: 陳涵

1.一種睡覺(jué)行為的監(jiān)控方法，其特征在于，包括：

獲取視頻圖像；

將所述視頻圖像輸入至神經(jīng)網(wǎng)絡(luò)模型，得到所述視頻圖像中的人體全身框與人臉框，并將所述人臉框與對(duì)應(yīng)的人體全身框進(jìn)行綁定；

根據(jù)所述人臉框中眼睛的閉合狀態(tài)以及人體全身框中的關(guān)節(jié)點(diǎn)信息，檢測(cè)所述視頻圖像中對(duì)應(yīng)人員的睡覺(jué)狀態(tài)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述人臉框中眼睛的閉合狀態(tài)以及人體全身框中的關(guān)節(jié)點(diǎn)信息，檢測(cè)所述視頻圖像中對(duì)應(yīng)人員的睡覺(jué)狀態(tài)包括：

根據(jù)綁定的人體全身框與人臉框，確定所述人體全身框中是否包括身份信息；

若所述人體全身框中包括身份信息，則檢測(cè)所述人臉框中眼睛的閉合狀態(tài)，得到檢測(cè)結(jié)果，并根據(jù)所述檢測(cè)結(jié)果以及人體全身框中的關(guān)節(jié)點(diǎn)信息，檢測(cè)所述視頻圖像中對(duì)應(yīng)人員的睡覺(jué)狀態(tài)；

若所述人體全身框中不包括身份信息，則根據(jù)人體全身框中的關(guān)節(jié)點(diǎn)信息，檢測(cè)所述視頻圖像中對(duì)應(yīng)人員的睡覺(jué)狀態(tài)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述檢測(cè)結(jié)果以及人體全身框中的關(guān)節(jié)點(diǎn)信息，檢測(cè)所述視頻圖像中對(duì)應(yīng)人員的睡覺(jué)狀態(tài)包括：

若檢測(cè)到所述人臉框中眼睛的閉合狀態(tài)為睜眼，則確定所述視頻圖像中對(duì)應(yīng)人員不存在睡覺(jué)行為；

若檢測(cè)到所述人臉框中眼睛的閉合狀態(tài)為閉眼，或，若未檢測(cè)到所述人臉框中眼睛的閉合狀態(tài)，則根據(jù)人體全身框中的關(guān)節(jié)點(diǎn)信息，檢測(cè)所述視頻圖像中對(duì)應(yīng)人員的睡覺(jué)狀態(tài)。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述確定所述人體全身框中是否包括身份信息包括：

獲取所述人體全身框中人臉的像素?cái)?shù)量；

若所述像素?cái)?shù)量大于或者等于預(yù)設(shè)像素閾值，則確定所述人體全身框中包括身份信息；

若所述像素?cái)?shù)量小于預(yù)設(shè)像素閾值，則確定所述人體全身框中不包括身份信息。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述關(guān)節(jié)點(diǎn)信息包括關(guān)節(jié)點(diǎn)的坐標(biāo)信息和屬性信息；所述根據(jù)人體全身框中的關(guān)節(jié)點(diǎn)信息，檢測(cè)所述視頻圖像中對(duì)應(yīng)人員的睡覺(jué)狀態(tài)包括：

根據(jù)關(guān)節(jié)點(diǎn)的坐標(biāo)信息和屬性信息，確定所述視頻圖像中對(duì)應(yīng)人員是否處于站立狀態(tài)；

根據(jù)所述站立狀態(tài)檢測(cè)所述視頻圖像中對(duì)應(yīng)人員的睡覺(jué)狀態(tài)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)所述站立狀態(tài)檢測(cè)所述視頻圖像中對(duì)應(yīng)人員的睡覺(jué)狀態(tài)包括：

若所述視頻圖像中對(duì)應(yīng)人員處于站立狀態(tài)，則確定所述視頻圖像中對(duì)應(yīng)人員不存在睡覺(jué)行為；

若所述視頻圖像中對(duì)應(yīng)人員處于非站立狀態(tài)，則獲取所述關(guān)節(jié)點(diǎn)在預(yù)設(shè)時(shí)長(zhǎng)內(nèi)的運(yùn)動(dòng)信息，并根據(jù)所述運(yùn)動(dòng)信息，檢測(cè)所述視頻圖像中對(duì)應(yīng)人員的睡覺(jué)狀態(tài)。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述獲取所述關(guān)節(jié)點(diǎn)在預(yù)設(shè)時(shí)長(zhǎng)內(nèi)的運(yùn)動(dòng)信息，并根據(jù)所述運(yùn)動(dòng)信息，檢測(cè)所述視頻圖像中對(duì)應(yīng)人員的睡覺(jué)狀態(tài)包括：

獲取所述關(guān)節(jié)點(diǎn)在第一時(shí)長(zhǎng)內(nèi)的第一運(yùn)動(dòng)距離，以及所述關(guān)節(jié)點(diǎn)在第二時(shí)長(zhǎng)內(nèi)的第二運(yùn)動(dòng)距離；所述第一時(shí)長(zhǎng)大于所述第二時(shí)長(zhǎng)；

根據(jù)所述第一運(yùn)動(dòng)距離和所述第二運(yùn)動(dòng)距離，確定所述視頻圖像中對(duì)應(yīng)人員的睡覺(jué)狀態(tài)。

8.根據(jù)權(quán)利要求2所述的方法，其特征在于，在根據(jù)所述人臉框中眼睛的閉合狀態(tài)以及人體全身框中的關(guān)節(jié)點(diǎn)信息，檢測(cè)所述視頻圖像中對(duì)應(yīng)人員的睡覺(jué)狀態(tài)之后，所述方法還包括：

記錄存在睡覺(jué)行為的人員的身份信息，并統(tǒng)計(jì)睡覺(jué)次數(shù)；

根據(jù)存在睡覺(jué)行為的人員的身份信息以及睡覺(jué)次數(shù)，生成報(bào)表。

9.一種睡覺(jué)行為的監(jiān)控裝置，其特征在于，包括：

獲取模塊，用于獲取視頻圖像；

綁定模塊，用于將所述視頻圖像輸入至神經(jīng)網(wǎng)絡(luò)模型，得到所述視頻圖像中的人體全身框與人臉框，并將所述人臉框與對(duì)應(yīng)的人體全身框進(jìn)行綁定；

檢測(cè)模塊，用于根據(jù)所述人臉框中眼睛的閉合狀態(tài)以及人體全身框中的關(guān)節(jié)點(diǎn)信息，檢測(cè)所述視頻圖像中對(duì)應(yīng)人員的睡覺(jué)狀態(tài)。