[發明專利]一種基于視頻圖像處理的水生動物心率檢測方法

有效

• 申請號: 202210023274.7
• 申請日: 2022-01-10
• 公開（公告）號: CN114431849B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 胡天宇;鄧雅程;陳佳;王大鵬;張榕鑫;徐鵬;游偉偉;駱軒
• 申請（專利權）人: 廈門大學
• 主分類號: A61B5/0245
• 分類號: A61B5/0245;A61B5/318
• 代理公司: 廈門原創專利事務所(普通合伙) 35101
• 代理人: 吳廷正

1.一種基于視頻圖像處理的水生動物心率檢測方法，其特征在于，其包括：

1)獲取t幀水生動物腹面的視頻圖像，然后按預設條件選取感興趣區域并對其進行追蹤和保持，獲得心臟和背景區域時間信號序列，其中，所述感興趣區域包括心臟感興趣區域和背景感興趣區域；

2)根據多數據集聯合分析方法，篩選出心臟感興趣區域和背景感興趣區域共有的共同環境噪聲并去除；

3)根據雙色反射模型，將經過步驟2)中去除共同環境噪聲后的心臟感興趣區域時間信號序列視作光照變化成分、鏡面反射成分、漫反射成分的線性組合，對其進行消除靜態成分并投影至正交平面以去除光照變化成分；

4)對經過步驟3)處理獲得的僅包含鏡面反射成分和漫反射成分的心臟感興趣區域時間信號序列進行獨立成分分析，并篩選出與原心臟感興趣區域信號序列中綠色通道相關性最強的獨立成分；

5)從頻域上對步驟4)處理獲得的獨立成分進行分解，篩選出頻域上與水生動物物種特有的心率分布范圍匹配度最高的子成分；

6)根據步驟5)處理獲得的子成分進一步輸出心動波形圖或心率數值；

其中，其包括：

1)獲取t幀水生動物腹面的視頻圖像，將其轉換為RGB視頻圖像后，選取心臟感興趣區域和背景感興趣區域并由目標檢測算法完成感興趣區域的追蹤和保持；然后對于每塊感興趣區域，分別計算每一幀RGB視頻圖像三個顏色通道的平均像素強度，獲得心臟感興趣區域信號序列和背景感興趣區域信號序列，所述心臟感興趣區域信號序列的公式如下：

X_nr()＝[_hr(t)；_hr(t)；_hr()]^T，

其中，R_hr(t)、G_hr(t)、B_hr()分別為心臟感興趣區域視頻圖像的R、G、B顏色通道的平均像素強度；

所述背景感興趣區域信號序列的公式如下：

X_bg()＝[_bg(t)；_bg(t)；_bg()]^T；

其中，R_bg(t)、G_bg(t)、B_bg()分別為背景感興趣區域視頻圖像的R、G、B顏色通道的平均像素強度；

2)根據聯合盲源分離方法，利用數學公式SCV(t)＝*X(t)，對所述的心臟感興趣區域信號序列X_hr()和背景感興趣區域信號序列X_bg()進行聯合盲源分離處理，得到解混矩陣W，其中，其中W為解混矩陣，SCV(t)為源信號成分向量；

進一步計算得到源信號成分向量矩陣

SCV(t)＝[SCV_hr1；CV_hr2；CV_hr3；CV_bg1；CV_bg2；CV_bg3]^T；

根據源信號成分向量矩陣計算獲得心臟感興趣區域信號序列的各源信號成分向量SCV_hr()()和背景感興趣區域信號序列的各源信號成分向量SCV_bg()()；

根據計算獲得的心臟感興趣區域信號序列的各源信號成分向量SCV_hr()()和背景感興趣區域信號序列的各源信號成分向量SCV_bg()()之間的相關系數，將最大相關系數所對應心臟感興趣區域信號序列的源信號成分向量SCV_hr()()置零后得SCV_new()，然后根據SCV(t)＝*X(t)可得去除共同環境噪聲后的心臟感興趣區域信號序列和背景感興趣區域信號序列X_new(t)＝\SCV_new()；

3)根據雙色反射模型，將步驟2)中獲得的去除環境噪聲后的心臟感興趣區域時間信號序列X_new(t)看作是光照變化成分、鏡面反射成分、漫反射成分的線性組合，將時域歸一化之后的X_new()投影到與光照變化成分正交的平面P＝[p₁；₂]^T，以此得到僅包含鏡面反射成分和漫反射成分的心臟感興趣區域時間信號序列X_rflct(t)＝*X_new()；

4)對步驟3)中獲得的僅包含鏡面反射成分和漫反射成分的心臟感興趣區域時間信號序列X_rflct(t)進行獨立成分分析處理，即

X_rflct()＝A*S(t)，其中，A為混合矩陣，S(t)為源信號的獨立成分，可得S(t)＝[s₁(t)；₂()]^T，計算[₁(T)；₂()]^T與原心臟感興趣區域信號序列X_hr()中G_hr()的相關系數，篩選出與原始信號綠色通道信號相關性最強的獨立成分s(t)；

5)采用集合經驗模態分解方法對步驟4)中獲得的s(t)進行處理，可得s(t)＝∑imf(t)+(t)，其中，imf(t)為各頻段的本征模態函數，r(t)為殘差項，再對imf(t)進行篩選，選擇頻域上與水生動物心率分布范圍匹配度最高的imf(t)進行滑動平均，計算前后連續n項的平均值來替代imf(t)中當前值，將結果記為HR()；

6)根據步驟5)中獲得的HR()直接作為心動波形圖輸出；或進一步地，從頻域上采用傅里葉變換將所述的HR()轉換到頻域，從頻譜上得到幅值最大的頻率值f_max，則心率HR＝f_max*60；時域上采用峰值檢測法，得到HR()上共存有波峰a個和波谷b個，則心率其中，t為視頻時長，其單位為秒。