[發明專利]一種基于紅外圖像和穿戴式光纖的動物長時間姿態識別系統

在審

• 申請號: 202011068610.7
• 申請日: 2020-09-30
• 公開（公告）號: CN112184734A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 王瑤;高偉政
• 申請（專利權）人: 南京景瑞康分子醫藥科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/66;G06T7/70;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于紅外圖像和穿戴式光纖的動物長時間姿態識別系統，該系統包含注意力機制模塊M1、局部姿態識別模型訓練模塊M2，局部姿態識別預測模塊M3、全局姿態還原模塊M4，實現了對佩戴有光纖設備的動物行為學紅外低分辨率視頻的關鍵節點高精度識別，大幅度減少了人工校驗的時長解決了動物蜷縮、旋轉以及拍攝光照波動等問題的影響，可廣泛應用于腦成像領域。

本發明涉及圖像處理領域，特別涉及一種基于紅外圖像和穿戴式光纖的動物長時間姿態識別系統。

背景技術

神經元的行為與動物活動息息相關。為了探索特定行為下由神經元構成的復雜網絡是如何連接和交互的，常常需要對動物行為進行定量分析。

在當前的大數據高頻率采集條件下，手工處理的效率既耗時又容易出錯，但由于自然動物行為的動態性、復雜性以及周圍因素干擾，使得自動識別存在極大的挑戰。佩戴有微型顯微鏡的動物，在激光信號傳輸過程中頭部帶有光纖，由于光纖的遮擋和晃動會對行為分析造成較大的挑戰。同時，在長時間實驗記錄過程中，圖像光照等環境條件常常會發生不可忽略的波動，對特征的穩定性造成干擾。除此之外，為了不干擾穿戴式熒光顯微鏡激發成像，在記錄的行為時常常使用紅外攝像機記錄，而紅外圖像往往對比度低、分辨率差、紋理信息模糊，顯著增加了實驗動物行為的自動識別難度。

前人嘗試使用物理標記的方法會干擾動物的自然行為；也有人嘗試利用深度相機在自然空間中對動物行為進行定位，但這些技術的成像條件和對場景變化敏感；傳統的姿態識別方法依賴于特征的提取和匹配，對特征穩定性要求較高，因此不適用于復雜的運動動物行為識別。

因此亟待一種識別準確、適用低分辨率、變化光照、動物自然多變姿態的系統，定量精確地分析動物的姿態和軌跡，為神經精神性疾病藥物發現、腦科學研究等提供良好的技術支持。

發明內容

為了解決上述技術問題，本發明提供了一種基于紅外圖像和穿戴式光纖的動物長時間姿態識別系統，實現了對佩戴有光纖設備的動物行為學紅外低分辨率視頻的關鍵節點高精度識別。

為達到上述發明目的，本發明通過以下技術方案來實現：系統包括注意力機制模塊M1、局部姿態識別模型訓練模塊M2、局部姿態識別預測模塊M3和全局姿態還原模塊M4。

為了減少光纖的晃動和遮擋、周圍相似物體的干擾，注意力機制模塊M1負責在動物行為學圖像序列中進行質心識別和目標動物區域裁剪。通過粒子濾波方法逐幀檢測動物的質心位置，得到動物質心位置坐標序列{(x_j，y_j)，j＝1....t}，以動物質心位置坐標(x_j，y_j)為矩形中心，根據圖像坐標范圍為獲取長為s、寬為z的矩形裁剪圖像將每幀對應的裁剪圖像按照采集時間排列，得到包含目標動物的裁剪圖像序列其中t為總采樣幀數；

注意力機制模塊M1中的目標檢測采用粒子濾波算法，其步驟為：

第一步，在初始時刻假設目標動物的顏色分布為{q^u}_{u＝1，2，...，B}，統計空間信息，計算落入每個區間的像素位置的均值向量和協方差矩陣；

第二步：根據假設目標動物的顏色分布建立初始狀態樣本集其中N表示設置跟蹤粒子數；

第三步：計算粒子狀態轉移，在時刻k(k＞0)，根據重要性采樣原理和前一時刻的粒子位置預測此刻的粒子的狀態；

第四步：粒子權值計算，根據通過當前時刻的觀測值Z_t來計算每個粒子的權重，之后進行歸一化處理：計算k時刻目標狀態的最小均方誤差估計：

第五步：重采樣，根據樣本的權值從樣本集重新抽取N個樣本，對粒子集進行自適應聚類，根據目標函數找到距所有粒子最近的中心點聚類中心即認為是動物的質心位置{(x_j，y_j)，j＝1，2，...，t}；