[發(fā)明專利]智能識(shí)別并實(shí)時(shí)反饋的洗手監(jiān)測(cè)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011494917.3
• 申請(qǐng)日: 2020-12-17
• 公開（公告）號(hào): CN112906453A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 盛歆漪;孫俊;葉小寒;王黎明;張藝楠;李世晟;王心語
• 申請(qǐng)（專利權(quán)）人: 江南大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京正聯(lián)知識(shí)產(chǎn)權(quán)代理有限公司 32243
• 代理人: 張玉紅

本發(fā)明涉及醫(yī)療設(shè)備領(lǐng)域，公開了一種智能識(shí)別并實(shí)時(shí)反饋的洗手監(jiān)測(cè)系統(tǒng)。包括洗手動(dòng)作識(shí)別評(píng)估模塊、洗手監(jiān)督模塊、用戶交互模塊、身份識(shí)別模塊、數(shù)據(jù)存儲(chǔ)模塊、控制模塊；通過身份識(shí)別模塊對(duì)醫(yī)生進(jìn)行身份識(shí)別；數(shù)據(jù)采集模塊實(shí)時(shí)獲取多模態(tài)洗手視頻數(shù)據(jù)；預(yù)處理模塊對(duì)采集的視頻數(shù)據(jù)預(yù)處理；手勢(shì)識(shí)別模塊、手勢(shì)評(píng)估模塊，對(duì)數(shù)據(jù)進(jìn)行分析比較，通過用戶交互模塊實(shí)時(shí)顯示出評(píng)估結(jié)果；通訊模塊將結(jié)果上傳至數(shù)據(jù)庫模塊；醫(yī)院通過洗手監(jiān)督模塊定期或隨機(jī)采樣，監(jiān)測(cè)數(shù)據(jù)庫模塊內(nèi)存儲(chǔ)的數(shù)據(jù)以及專家評(píng)估結(jié)果，對(duì)系統(tǒng)進(jìn)行監(jiān)督訓(xùn)練。對(duì)醫(yī)院環(huán)境中的洗手動(dòng)作進(jìn)行高效智能識(shí)別，并在洗手過程中實(shí)時(shí)反饋洗手問題，幫助醫(yī)護(hù)人員在洗手過程中及時(shí)糾正問題。

技術(shù)領(lǐng)域

本發(fā)明涉及醫(yī)療設(shè)備領(lǐng)域，特別涉及一種智能識(shí)別并實(shí)時(shí)反饋的洗手監(jiān)測(cè)系統(tǒng)。

背景技術(shù)

正確的洗手方法可確保醫(yī)護(hù)人員的雙手潔凈，有效減少因雙手傳播傳染性疾病的情況。但很多醫(yī)護(hù)人員在洗手過程中，有動(dòng)作錯(cuò)誤、速度過快等問題，并且不能得到及時(shí)糾正，造成最終洗手效果不佳。不僅在不發(fā)達(dá)地區(qū)，即使在發(fā)達(dá)國(guó)家，手衛(wèi)生造成的感染發(fā)生頻率仍高居不下，造成醫(yī)療系統(tǒng)的巨大經(jīng)濟(jì)損失。

由于醫(yī)院環(huán)境的復(fù)雜性，現(xiàn)有洗手監(jiān)測(cè)系統(tǒng)采用人工監(jiān)測(cè)較多，但受制于諸多限制，只能對(duì)手衛(wèi)生進(jìn)行抽樣監(jiān)測(cè)，不能反映醫(yī)護(hù)人員的常規(guī)手衛(wèi)生情況，督促作用有限。設(shè)備監(jiān)測(cè)方法，主要使用單模態(tài)視頻圖像數(shù)據(jù)進(jìn)行手勢(shì)識(shí)別，使用傳統(tǒng)的分類方法進(jìn)行分割、跟蹤和分類，實(shí)現(xiàn)對(duì)洗手動(dòng)作的識(shí)別。但醫(yī)院洗手環(huán)境在光照、背景色等方面不固定，使用單模態(tài)數(shù)據(jù)易受到環(huán)境影響，實(shí)際應(yīng)用中系統(tǒng)適應(yīng)性受到很多限制。另外傳統(tǒng)的特征提取、分類方法，雖然能實(shí)現(xiàn)對(duì)手勢(shì)的識(shí)別與分類，但技術(shù)門檻較高、識(shí)別流程復(fù)雜，對(duì)設(shè)備要求較高，實(shí)時(shí)性也不容易得到保證。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)不足，本發(fā)明提供了一種使用多模態(tài)數(shù)據(jù)，結(jié)合深度學(xué)習(xí)的方法，對(duì)醫(yī)院環(huán)境中的洗手動(dòng)作進(jìn)行高效智能識(shí)別，并在洗手過程中實(shí)時(shí)反饋洗手問題，在結(jié)束時(shí)對(duì)洗手情況可視化展示，幫助醫(yī)護(hù)人員在洗手過程中及時(shí)糾正問題，直觀地了解洗手情況，從而提升手衛(wèi)生標(biāo)準(zhǔn)的執(zhí)行的效率。

本發(fā)明通過如下技術(shù)方案實(shí)現(xiàn)：本發(fā)明提出了一種智能識(shí)別并實(shí)時(shí)反饋的洗手監(jiān)測(cè)系統(tǒng)，包括：洗手動(dòng)作識(shí)別評(píng)估模塊、洗手監(jiān)督模塊、用戶交互模塊、身份識(shí)別模塊、數(shù)據(jù)存儲(chǔ)模塊、控制模塊；所述洗手動(dòng)作識(shí)別評(píng)估模塊包括：數(shù)據(jù)采集模塊、預(yù)處理模塊、手勢(shì)識(shí)別模塊、手勢(shì)評(píng)估模塊；所述用戶交互模塊包括：顯示模塊、聲音模塊；所述數(shù)據(jù)存儲(chǔ)模塊包括：通訊模塊、數(shù)據(jù)庫模塊；具體步驟如下：

步驟1、所述身份識(shí)別模塊對(duì)醫(yī)生進(jìn)行身份識(shí)別，登錄系統(tǒng)；

步驟2、所述數(shù)據(jù)采集模塊實(shí)時(shí)獲取多模態(tài)洗手視頻數(shù)據(jù)；

步驟3、所述預(yù)處理模塊對(duì)步驟2中采集的視頻數(shù)據(jù)預(yù)處理，

步驟4、所述手勢(shì)識(shí)別模塊、手勢(shì)評(píng)估模塊，對(duì)步驟3中的數(shù)據(jù)進(jìn)行分析，與預(yù)設(shè)固定閾值比較，通過用戶交互模塊實(shí)時(shí)顯示出評(píng)估結(jié)果；

步驟5、所述通訊模塊將步驟4中的結(jié)果上傳至數(shù)據(jù)庫模塊統(tǒng)計(jì)和分析；

步驟6、醫(yī)院通過洗手監(jiān)督模塊定期或隨機(jī)采樣，監(jiān)測(cè)數(shù)據(jù)庫模塊內(nèi)存儲(chǔ)的數(shù)據(jù)以及專家評(píng)估結(jié)果，隨時(shí)對(duì)系統(tǒng)進(jìn)行監(jiān)督訓(xùn)練。

進(jìn)一步，所述步驟1中身份識(shí)別模塊采用了Depth（深度）攝像頭，通過用戶靠近激活系統(tǒng)，并在顯示模塊中通過顯示屏顯示登錄信息。

進(jìn)一步，所述步驟2中數(shù)據(jù)采集模塊采用了RGB（彩色圖像）、Depth（深度信息）和IR（紅外圖像）外設(shè)攝像頭3種模態(tài)視頻流，實(shí)時(shí)獲取用戶洗手視頻數(shù)據(jù)。

進(jìn)一步，所述步驟3預(yù)處理模塊包括對(duì)步驟2中獲取的RGB、Depth和IR視頻流逐幀讀取連續(xù)洗手圖像序列，在連續(xù)單個(gè)洗手動(dòng)作圖像中分割出洗手區(qū)域像素位置作為手部圖像，洗手區(qū)域像素包括洗手池和主要洗手動(dòng)作，與此同時(shí)IR視頻中根據(jù)手部圖像顏色評(píng)估水溫。