[發明專利]基于監控相機和深度相機聯合的人體抽搐檢測方法及裝置

在審

• 申請號: 202110696770.4
• 申請日: 2021-06-23
• 公開（公告）號: CN113435297A
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 謝晨;潘今一;王亞蒙
• 申請（專利權）人: 佛山弘視智能信息科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06T7/246;G06T7/269
• 代理公司: 佛山卓就專利代理事務所(普通合伙) 44490
• 代理人: 陳雪梅

1.基于監控相機和深度相機聯合的人體抽搐檢測方法，其特征在于，包括以下步驟：

S1、監控相機與深度相機配準、采集與區域劃分

在系統啟動之前，調整固定監控相機與深度相機的位置、角度與成像范圍，確保檢測覆蓋在人體上的成像處于同一位置，根據人體所處位置設置人體檢測區域，并將檢測區域切分成N*N的小區域，以供監控相機與深度相機做局部檢測，由于所監測的人體常規情況處于躺下的靜止狀態，因此監控的人體區域一般按照人躺下的人體大小設置即可，考慮到監控相機與深度相機計算小區域圖像數據和深度數據所涵蓋的足夠的信息特征要求，這里以經驗值給出N的大小為9，即將所監測的人體區域切分成9*9共81個小區域，各小區域的圖像數據和深度數據獨立送入二維運動周期性特征計算模塊和三維運動周期性特征計算模塊；

S2、二維抽搐特征計算模塊

監控相機小區域的二維周期性運動特征，衡量了人體在抽搐動作過程中產生的身體上的局部圖像運動變化，對于運動的描述有很多方法，例如光流法、塊匹配法、差分法、局部相似度計算法等，這里以局部相似度計算方法為例，選取相似度變化作為二維運動周期性特征，選取一個時間窗口，對于小區域圖像在視頻的連續序列中，每隔時間窗口選取時間窗口的第一幀圖像作為起始圖像I₀，后續時間窗口內每幀圖像定義為I₁,I₂,…,I_t，計算起始圖像I₀與序列圖像I_t中每個小區域的相似度值，這里以圖像結構相似度算法為例做相似度計算；

S3、三維抽搐特征計算模塊

深度相機小區域的三維周期性運動特征，衡量了人體在抽搐動作過程中產生的局部深度變化，二維相機只能檢測二維平面上的抽搐運動的情況，對于人體發病時的抽搐行為，除了具有水平方向的位移以外，還包含了在縱深方向的抽搐運動變化，這是二維相機所無法檢測到的信息，因此增加的深度數據信息可有效提高人體抽搐檢測的準確性，計算小區域的深度均值d，將時間窗口序列的深度均值序列D作為深度特征序列；

S4、二維運動特征與三維運動特征聯合判斷模塊

為了獲取抽搐運動二維三維聯合模型，預先采集一組人體抽搐運動數據樣本，數據樣本以監控相機和深度相機同步采集，針對采集的視頻樣本和深度數據樣本提取二維運動周期性特征和三維運動周期性特征，包括亮度特征序列L，對比度特征序列C、結構特征序列S和深度特征序列D，基于這些特征序列聯合建立抽搐運動識別模型，常用的特征序列建模方法有支持向量機、神經網絡、隱馬爾科夫模型(HMM)等方法，由于人體行為在運動的連續性上具有上下文相關性，因此這里我們采用嵌入式隱馬爾科夫模型(EHMM)進行建模，可更切合抽搐運動的特性；

S41、EHMM描述

EHMM描述了一個偽二維HMM，每個EHMM由一個主狀態構成，每一個主狀態又包含了一個一維的HMM，相當于一組一維HMM嵌入到另外一組HMM；

S42、EHMM抽搐識別模型訓練

以亮度特征序列L，對比度特征序列C、結構特征序列S和深度特征序列D組成特征向量矩陣，以表示每個狀態，采用雙重嵌套viterbi調整各超狀態和子狀態在特征向量上的劃分，流程如下：

初始化后，將特征向量矩陣作為觀測序列輸入EHMM中；

以一維Viterbi算法調整第K個超狀態的嵌入的HMM在這個輸入序列上的劃分，使得輸出最大；

的輸出作為的觀察概率，完成所有的觀察序列計算后，對實行一維viterbi算法，使得的輸出最大；

反向追蹤每個超狀態所嵌入的HMM隱狀態序列，從而得到超狀態和子狀態在特征向量上的新的劃分；

重復以上步驟，直至收斂，建立EHMM抽搐識別模型；

S43、抽搐識別

對于監控的人體目標，以監控相機與深度相機同步采集數據，提取亮度特征序列L，對比度特征序列C、結構特征序列S和深度特征序列D作為已知EHMM抽搐識別模型的觀察值序列，應用雙重嵌套viterbi算法可以找到EHMM對于觀察序列的最佳狀態，即獲得抽搐識別的判別結果。

2.根據權利要求1所述的基于監控相機和深度相機聯合的人體抽搐檢測方法，其特征在于：所述步驟S2中，對于圖像結構分布來說，采用結構相似法更能反映出運動的細節信息變化，兩幀圖像結構相似度測量函數為

S(x,y)＝f(l(x,y),c(x,y),s(x,y))。