[發明專利]基于視頻的人體微小震顫信號提取的方法

有效

• 申請號: 202110831426.1
• 申請日: 2021-07-22
• 公開（公告）號: CN113569696B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 陳冠楠;劉偉平;王慶;林子揚;陳興宏;王秀梅
• 申請（專利權）人: 福建師范大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/10;G06F18/10;G06V10/82;G06N3/0464;A61B5/11
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳鼎桂;蔡學俊

1.一種基于視頻的人體微小震顫信號提取的方法，其特征在于，包括以下步驟：

步驟S1:獲取人體各部位監測視頻；

步驟S2:構建改進的OpenPose網絡模型；

步驟S3:基于改進的OpenPose網絡模型，根據人體各部位監測視頻進行人體姿態估計，識別視頻中每幀圖像的人體的不同部位，確定不同身體部位在每幀圖像中的位置坐標；

步驟S4:將所有幀的坐標信息取平均值，根據獲得的位置信息劃分每幀圖像中人體不同的身體部位，將劃分后的所有幀圖像再重新生成視頻，獲得這些不同身體部位的局部視頻；

步驟S5:利用歐拉視頻放大技術對這些局部視頻進行微小振動的放大,獲得信號頻譜圖；

步驟S6:對信號頻譜圖進行頻域分析，獲得的人體不同身體部位的初始震顫信號；

步驟S7:對獲得的人體不同身體部位的初始震顫信號進行濾波處理，得到最終震顫信號結果；所述改進的OpenPose網絡模型，具體為：基于OpenPose網絡，采用Resnet網絡的前端代替原始的VGG網絡前15層，得到初始的特征圖；對于OpenPose網絡后面的兩個分支網絡改為采用一種輕量級分支網絡；

所述步驟S5具體為：根據復數可控金字塔原理，將圖像序列I(m,n,t)多分辨率分解為：

I(m,n,t)＝A(γ,θ,m,n,t)e^{iψ(γ,θ,m,n,t)}

式中γ表示尺度，θ表示方向；

在時域，依據t₀時刻的相位可以計算出t時刻的相位變化量：

δ(γ,θ,m,n,t)＝ψ(γ,θ,m,n,t)-ψ(γ,θ,m,n,t₀)

對于視頻的復數可控金字塔分解中的每個尺度和方向，通過計算局部振動信號的空間加權平均來計算單個尺度方向整體振動信號：

采用幅值的平方來加權每個局部信號來減少噪聲的影響：

為了防止不同尺度和方向上的振動信號相加前的互相干擾，對信號進行時間的平移；

用來表示時間平移信號：

其中i表示所有的尺度方向的組合(r,θ)，表示的是任意一個方向尺度作為參考的信號；

則獲得的整體震顫信號為：

對獲得的整體震顫信號進行傅里葉變換，獲得其頻譜信號頻譜圖。

2.根據權利要求1所述的基于視頻的人體微小震顫信號提取的方法，其特征在于，所述步驟S3具體為：對輸入的視頻的每幀圖像使用OpenPose進行人體姿態估計,利用OpenPose識別視頻中每幀圖像的人體的不同部位，確定不同身體部位在每幀圖像中的位置坐標(x_i,y_i)。

3.根據權利要求1所述的基于視頻的人體微小震顫信號提取的方法，其特征在于，所述步驟S4具體為：

將所有幀的坐標信息取平均值：

式子中k表示視頻的總幀數，(x_i,y_i)不同身體部位在每幀圖像中的位置坐標；

將所得的結果作為每幀圖像身體部位的位置坐標；

根據獲得的位置信息劃分每幀圖像中人體不同的身體部位，將劃分后的所有幀圖像再重新生成視頻，從而獲得這些不同身體部位的局部視頻。

4.根據權利要求1所述的基于視頻的人體微小震顫信號提取的方法，其特征在于，所述濾波處理采用特沃斯帶通濾波器，帶通范圍為4～6HZ，阻帶截至1～9HZ。

5.一種基于視頻的人體微小震顫信號提取系統，其特征在于，包括處理器、存儲器以及存儲在所述存儲器上的計算機程序，所述處理器執行所述計算機程序時，具體執行如權利要求1-4任一項所述的基于視頻的人體微小震顫信號提取的方法中的步驟。