[發明專利]一種基于深度特征學習的軟組織表面運動跟蹤方法

有效

• 申請號: 202011525648.2
• 申請日: 2020-12-22
• 公開（公告）號: CN112614152B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 楊波;侯鵬飛;鄭文鋒;劉珊
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T7/223
• 分類號: G06T7/223;G06T7/246;G06T7/66;G06N3/04
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 溫利平

1.一種基于深度特征學習的軟組織表面運動跟蹤方法，其特征在于，包括以下步驟：

(1)、對內窺鏡視覺采集設備獲取的軟組織表面的N幀圖像進行去噪和灰度處理，處理完成后，將第i幀內窺鏡圖像記作F_i，i＝1,2,…,N；

(2)、在步驟(1)的基礎上，使用OpenCV庫中的SimpleBlobDetector提取每幀圖像中的斑點，作為特征點；

(3)、在第一幀內窺鏡圖像F₁中運用delaunay三角剖分算法，以檢出的特征點為頂點構造三角網格；

(4)、在后續F_i中，i＝2,3,…,N，根據檢出的特征點的位置坐標，對F₁中的三角形逐個進行匹配；設F₁中當前待匹配三角形為abc，具體匹配步驟如下：

(4.1)、在后續F_i中搜索滿足長度和角度約束的候選匹配點，并組成三角形abc的若干候選三角形；

(4.1.1)、設置長度和角度的約束條件：

||L_a'b'-L_ab||≤ΔL_ab (1)

||L_a'c'-L_ac||≤ΔL_ac (2)

||θ_a-θ_a'||≤Δθ (3)

其中，L_ab表示待匹配三角形的邊ab之間的像素距離，θ_a表示待匹配三角形頂點a的夾角，L_a'b'表示候選三角形的邊a'b'之間的像素距離，θ_a'表示候選三角形頂點a'的夾角，ΔL_ab、ΔL_ac和Δθ為設定的最大形變參數；

(4.1.2)、在后續F_i中，若待匹配三角形abc的三個頂點均未匹配，則在F_i中以F₁的頂點a坐標為圓心，搜索半徑為Δd內的所有特征點作為頂點a的候選匹配頂點，記為a'；

若待匹配三角形的某一個頂點已匹配，設頂點a'已匹配頂點a，則在F_i中搜索滿足長度和角度約束公式(1)、(2)、(3)的所有候選特征點對{b',c'}，作為頂點b和c的候選匹配點，再與頂點a'組合構成若干候選三角形；

若待匹配三角形的某兩個頂點匹配，設頂點a'、b'已匹配頂點a、b，則在F_i中搜索滿足長度和角度約束公式(2)、(3)的所有特征點作為頂點c的候選匹配點，記為c'，再與a'、b'構成若干候選三角形；

(4.2)、計算每個候選三角形的像素匹配代價；

(4.2.1)、計算F₁中待匹配三角形abc內每個像素點的重心坐標；

設(x_a,y_a)、(x_b,y_b)、(x_c,y_c)分別為頂點a、b、c的像素坐標，(x_p,y_p)為待匹配三角形內任一像素點p的像素坐標，那么點p在待匹配三角形內的重心坐標(α,β,γ)為：

(4.2.2)、計算像素點p在每個候選三角形中對應點p'的像素坐標；

(4.2.3)、在后續F_i中，通過雙線性插值求出每個候選三角形中對應點p'的像素值F_i(p')，再與F₁中對應點p的像素值F₁(p)計算出每個候選三角形的均方根誤差，并作為匹配該候選三角形的匹配代價；

其中，M為待匹配三角形內像素點的個數；

(4.3)、選出匹配代價滿足ΔE_i≤ε的有效候選三角形，ε為設定閾值；若有效候選三角形數量大于等于1，則在其中選擇匹配代價ΔE_i最小的三角形作為待匹配三角形abc的匹配三角形，從而確定F₁和F_i中相應頂點的匹配關系；若有效候選三角形數量為0，則表示F_i中不存在與待匹配三角形abc相匹配的特征點，結束當前三角形的匹配；

(4.4)選取F₁三角網格中的下一個未匹配三角形作為當前待匹配三角形abc，然后重復步驟(4.1)～(4.4)，直至遍歷F₁中的所有三角形，完成F₁和F_i相應特征點的匹配；

(5)、構建訓練樣本集

在前N幀圖像中，以特征點為中心截取M*M大小的圖像塊，兩兩組合構造正樣本與負樣本，其中，正樣本中的特征點為互相匹配的兩個三角形的對應頂點，標記為1；負樣本中的特征點為互相不匹配的兩個三角形的對應頂點，標記為0；最后將所有的正、負樣本構建訓練樣本集；

(6)、構建深度匹配網絡；

深度匹配網絡包括雙塔結構的兩個相同的特征提取網絡和度量網絡；其中，每個特征提取網絡又包括：預處理層和5個卷積層與三個下采樣層；預處理層將圖像像素值歸一化到(0,1)之間，5個卷積層的參數分別設置為64個7*7的卷積核，32個5*5的卷積核，16個3*3的卷積核，16個3*3的卷積核，16個3*3的卷積核，三個下采樣層采用2*2的最大值池化；度量網絡由3層全連接層組成，前兩層采用ReLU激活函數，第三層也為輸出層，采用Sigmoid激活函數，用于計算圖像塊對的匹配值；

(7)、訓練深度匹配網絡

從訓練樣本集中選取大小為batchsize個的正、負樣本構建一組訓練樣本，每一個batchsize中正負樣本數相等；

將一組訓練樣本輸入至深度匹配網絡，預處理層將正負樣本的像素值歸一化到(0,1)，每個樣本預處理后，將兩張M*M大小圖片分別輸入雙塔結構的一個分支，經過5個卷積層與三個下采樣層依次處理后，輸出兩張圖片的特征向量；

兩個特征向量串聯在一起作為度量網絡的輸入，再經過三個全連接層的縮放，由第三層的全連接層輸出一個二維向量，將這個二維向量通過Sigmoid激活函數激活，計算出兩張圖片匹配的概率值

基于最小化交叉熵損失函數計算交叉熵；

其中，n表示每一個batchsize中圖片對的個數，y_i表示輸入圖片對的標簽值，圖像對匹配時標簽值取1，圖像對不匹配時標簽值取0，為圖片對匹配的概率值；

根據交叉熵更新網絡權重，然后繼續輸入下一組訓練樣本，并重復上述訓練過程，經過epoch組訓練完成后，判斷圖片對匹配的概率值是否達到準確率99％，如果達到，則訓練完成，否則，繼續進行下一輪訓練，直到圖片對匹配的概率值達到準確率99％時訓練結束；

(8)、軟組織表面運動的實時跟蹤

(8.1)、對后續圖像幀F_i，i＞N，利用步驟(2)所述方法檢測出特征點；

(8.2)、將F₁和F_i中特征點所對應圖像塊兩兩組合輸入至深度匹配網絡，將計算出特征點的匹配概率；

(8.3)、構建F₁和F_i中特征點之間的匹配矩陣；

匹配矩陣的每行對應F₁中的一個特征點，每列對應F_i中的一個檢出特征點，匹配矩陣的元素通過匹配概率按行列對應關系填入；

(8.4)、根據匹配矩陣，選取每行得分最高且超過設定閾值的列作為匹配特征點，完成特征點在幀間的跟蹤，若匹配概率均小于設定閾值，則表示該特征點在該幀中未檢出能夠匹配的特征點。