[發明專利]基于多模態成像技術的生理信號遠程監控系統及應用

有效

• 申請號: 201611270849.6
• 申請日: 2016-12-30
• 公開（公告）號: CN106580294B
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 胡孟晗;李鐸;翟廣濤;楊小康;范業昭;朱文瀚
• 申請（專利權）人: 上海交通大學
• 主分類號: A61B5/0205
• 分類號: A61B5/0205;A61B5/1455;A61B5/00
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 郭國中

1.一種基于多模態成像技術的生理信號遠程監控系統，其特征在于：包括集成成像模塊、高光譜成像模塊和控制終端，所述高光譜成像模塊設置于集成成像模塊的上方，所述集成成像模塊和高光譜成像模塊分別與控制終端通信連接；

所述集成成像模塊包括集成的熱成像裝置、可見光成像裝置、近紅外成像裝置和激光生物散斑成像裝置，所述熱成像裝置、可見光成像裝置、近紅外成像裝置和激光生物散斑成像裝置并排排列，相鄰兩個裝置之間緊密設置；其中：

所述熱成像裝置，結合可見光成像裝置和近紅外成像裝置進行感興趣區域的定位和追蹤，并用于提取夜晚條件下心率、體表溫度、呼吸速率和血氧含量的熱成像圖像；

所述可見光成像裝置用于提取心率和血氧含量的可見光圖像以及增強熱成像裝置、近紅外成像裝置和/或激光生物散斑成像裝置提取圖像的分辨率；

所述近紅外成像裝置用于提取光照不足情況下的心率和血氧含量的近紅外圖像以及增強其他成像裝置提取圖像的分辨率；

所述激光生物散斑成像裝置用于獲得心率和血氧含量在多模態下的生物散斑圖像序列；

所述高光譜成像模塊包括集成的高光譜成像裝置；其中：所述高光譜成像裝置用于提取心率和血氧含量的高光譜圖像堆；

所述控制終端包括圖像接收模塊、圖像轉換模塊和分析模塊，所述圖像接收模塊用于接收集成成像模塊和高光譜成像模塊獲取的圖像并發送至圖像轉換模塊；所述圖像轉換模塊用于將圖像轉換為生理信號數據，所述分析模塊用于對生理信號數據進行多模態信號融合分析；

所述熱成像裝置采用遠紅外相機，所述熱成像裝置提取的圖像具有光照不變性；

所述可見光成像裝置采用RGB相機；

所述近紅外成像裝置包括近紅外相機和LED陣列，所述LED陣列設置于近紅外相機的周圍；

所述激光生物散斑成像裝置包括可見光-近紅外相機和多個不同波段的激光器，多個不同波段的激光器分別設置于可見光-近紅外相機的周邊；

所述圖像接收模塊包括：圖像內容復雜度計算單元、圖像質量評價單元、生物散斑判斷單元以及調配單元；所述圖像內容復雜度計算單元用于接收可見光成像裝置獲取的可見光圖像并生成圖像復雜度計算信號發送至調配單元，所述圖像質量評價單元用于接收熱成像裝置、近紅外成像裝置和高光譜成像裝置獲取的圖像并生成圖像質量評價信號發送至調配單元，所述生物散斑判斷單元用于接收激光生物散斑成像裝置獲取的生物散斑圖像序列并生成散斑數量判斷信號發送至調配單元，所述調配單元用于根據圖像內容復雜度計算單元、圖像質量評價單元以及生物散斑判斷單元發出的信號調整熱成像裝置、可見光成像裝置、近紅外成像裝置、激光生物散斑成像裝置和高光譜成像裝置；其中：

所述可見光成像裝置首先獲得可見光圖像，再通過圖像內容復雜度計算單元進行圖像復雜度計算，如果得到光線不足的結論，則生成光線不足的圖像復雜度計算信號發送至調配單元，調配單元控制系統自動開啟近紅外成像裝置，獲得近紅外圖像；

然后，遠紅外成像裝置和高光譜成像裝置開啟并分別獲取熱成像圖像和高光譜圖像堆，近紅外圖像、熱成像圖像和高光譜圖像堆分別通過圖像質量評價單元進行圖像質量評價，如果得到圖像質量不合格的結論，則生成圖像質量不合格的圖像質量評價信號發送至調配單元，調配單元控制系統進行軟硬件自校正，控制熱成像裝置、近紅外成像裝置和高光譜成像裝置重新獲得圖像，直至圖像質量滿足要求；

此后，熱成像圖像獲得后經由近紅外圖像的協助進行分辨率增強，再結合近紅外圖像進行感興趣區域的定位和追蹤，最后通過圖像轉換模塊提取相應感興趣區域的生理信號數據，并發送至分析模塊對生理信號數據進行多模態信號融合分析；高光譜圖像堆協調近紅外圖像進行感興趣區域的定位和追蹤，并通過圖像轉換模塊提取相應感興趣區域的生理信號數據，并發送至分析模塊對生理信號數據進行多模態信號融合分析；

根據近紅外圖像和熱成像圖像的定位，激光生物散斑成像裝置的激光器選擇各自的感興趣區域進行照射，激光生物散斑成像裝置的可見光-近紅外相機開啟，并獲取各個激光器模態下的生物散斑圖像序列，生物散斑圖像序列發送至生物散斑判斷單元進行生物散斑判斷，如果得到未包含與激光器數量相等的生物散斑的結論，則生成不合格的散斑數量判斷信號發送至調配單元，調配單元控制系統進行軟硬件自校正，重新獲取生物散斑圖像，直至滿足要求；

最后，生物散斑圖像序列通過圖像轉換模塊提取生理信號數據，并發送至分析模塊對生理信號數據進行多模態信號融合分析；

所述多模態信號融合分析通過以下任一種方式實現：

- 數據層融合：在原始信號端對生理信號數據進行直接整合，然后再進行特征提取，最后進行模式識別或回歸分析；

- 特征提取層融合：先在原始信號端對生理信號數據進行初步分析，再分別進行特征提取，然后對多個模態的信號特征進行融合，最后進行模式識別或回歸分析；

- 決策層融合：只在模式識別或回歸分析步驟對生理信號數據進行融合，最終得到最優的整合決策。