[發明專利]一種基于特征融合與人工神經網絡的睡姿監測方法

在審

• 申請號: 202010126488.8
• 申請日: 2020-02-28
• 公開（公告）號: CN111353425A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 劉今越;周志文;賈曉輝
• 申請（專利權）人: 河北工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06K9/46;G06K9/36;G06K9/40;A61B5/11;A61B5/00
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 付長杰

1.一種基于特征融合與人工神經網絡的睡姿監測方法，該方法的步驟是：

第一步：睡姿圖像的采集

使用床單式的大面積的壓力傳感器陣列采集六種睡姿(仰臥、俯臥、右側樹干型、右側胎兒型、左側樹干型、左側胎兒型)的人體壓力數據，并經過重組和排序后轉換為二維睡姿圖像，二維睡姿圖像中壓力值的坐標與傳感器單元的位置一一對應，切實還原人體在傳感器上躺臥的方向和位置；

第二步：睡姿圖像的預處理

將睡姿圖像與空載情況下傳感器輸出的壓力數據做差，消除傳感器本身帶來的噪聲，得到實際的睡姿壓力圖像，并對其進行直方圖分析，依次通過反轉、局部均衡化、睡姿分割、形態學除噪方式獲取四肢分明特征更加明顯的預處理后睡姿圖像；

第三步：圖像的特征提取與融合

對第二步預處理后睡姿圖像進行特征提取，首先提取圖像的HOG特征，將圖像按m×m像素大小進行單元劃分，并計算其梯度大小與方向，再按n×n單元大小進行塊劃分，以塊為窗口滑動掃描圖像得到HOG特征F_hog；

再對第二步預處理后睡姿圖像提取圖像的GLCM特征，將256個灰度等級的圖像轉換為8個灰度等級，計算不同方向θ和不同距離d的灰度共生矩陣，并求解得到對比度CON、相關COOR、角二階矩陣ASM、逆差分矩HOM共四個特征的值，分別求取其相同距離下不同角度的均值M和方差S作為最終的GLCM特征，各特征求取公式分別為：

其中：

i和j是像素的灰度；p(i,j,d,θ)為在θ方向上，相隔距離為d的一對像素灰度值分別為i和j的頻率；L為圖像的灰度等級；設共有四個方向，d的取值個數為k；

設d＝1時，M_CON1是對比度的均值，S_CON1是對比度的方差，則其具體公式為：

其余3個特征的求取公式同理，最終可得d＝1時，四個特征的向量集合為：

M₁＝{M_CON1,S_CON1,M_COOR1,S_COOR1,M_ASM1,S_ASM1,M_HOM1,S_HOM1} (8)

改變距離d的取值，則最終得到GLCM特征向量F_glcm其表達式為：

F_glcm＝{M₁,M₂,...,M_k} (9)

接下來對第二步預處理后睡姿圖像提取局部特征：局部特征為睡姿區域面積A、腿部區域個數N、頭部區域中心坐標點H、頭部區域中心坐標點H與腿部區域中心坐標點H₁的連線與水平方向所成夾角α；

睡姿區域面積A，即睡姿區域的像素個數，預處理后睡姿圖像大小為64×32，背景區域的灰度值為255，則根據圖像中非255的像素個數可計算出睡姿區域面積A；

然后對圖像進行邊緣提取，獲取睡姿輪廓后，以預處理后的睡姿圖像的左下角為坐標原點，以床長度方向為Y方向，且定義Y正方向為由腿部到頭部的方向，以床寬度方向為X方向建立坐標系，X軸為列數，Y軸為行數，將Y∈[5764]，X∈[032]的區域劃分為頭部區域S_head，則頭部區域中心坐標點計算公式為：

其中x_min，x_max分別是頭部輪廓橫坐標的最小值與最大值；y_min，y_max則是頭部輪廓縱坐標的最小值與最大值；

將Y∈[016]，X∈[032]的區域劃分為腿部區域S_leg，以該區域內的連通域數量作為腿部區域個數N，則腿部區域壓力中心點的坐標H₁的計算公式為：

其中x_min1，x_max1分別是腿部區域橫坐標的最小值與最大值；y_min1，y_max1則是腿部區域縱坐標的最小值與最大值，

根據上述所得的H和H₁的坐標值，可得夾角α的計算公式為：

將以上特征提取出來后生成局部特征集合F_s＝{A,N,H,α}，再將局部特征集合與HOG特征及GLCM特征融合為反應六種靜態壓力睡姿圖像的融合特征向量F，其表達式為：

F＝{F_hog,F_glcm,F_s} (13)

第四步：睡姿分類模型的訓練

使用基于人工神經網絡的算法對六種靜態壓力睡姿圖像的融合特征向量進行訓練獲得不同睡姿的分類模型；

第五步：睡姿實時監測與識別

將實時采集的壓力數據在系統前端界面進行實時顯示，并重復前三步獲得當前睡姿圖像的融合特征向量，再利用第四步訓練得到的分類模型對當前睡姿圖像的融合特征向量不斷進行睡姿種類識別，將識別結果生成日志記錄，實現對人體睡姿的長時間監測。