[發明專利]一種用于腹腔鏡手術的視頻預測方法及其系統

在審

• 申請號: 202010924387.5
• 申請日: 2020-09-04
• 公開（公告）號: CN112085717A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 王連生
• 申請（專利權）人: 廈門大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 廈門致群財富專利代理事務所(普通合伙) 35224
• 代理人: 劉兆慶

1.一種用于腹腔鏡手術的視頻預測方法，其特征在于，包括以下步驟：

S1、收集自然視頻數據，并進行預處理；

S2、光流估算：將預處理后的數據以視頻序列的方式輸入到光流估算網絡FlowNet2.0，輸入的序列長度為t，所述光流估算網絡FlowNet2.0對相鄰兩幀之間的光流進行預測，輸出得到t-1幀光流；

S3、函數變換預測：將所述光流估算網絡FlowNet2.0輸出的t-1幀光流與原圖沿通道拼接，將拼接的結果輸入變換函數預測網絡，設適應性核函數的大小為N＊N，所述變換函數預測網絡為每個像素都預測2N+2個參數，其輸出包括適應性核函數K(x，y)和位移向量(u，v)；

S4、空間替換卷積(SDC)處理：將所述變換函數預測網絡的輸出結果進行SDC模塊處理，在SDC模塊中，對輸入序列的第t幀圖像進行形變，最終得到預測的第t+1幀。

2.如權利要求1所述的一種用于腹腔鏡手術的視頻預測方法，其特征在于：還包括步驟S5、計算損失函數L_total：

所述損失函數L_total由主要損失函數和輔助損失函數組成，所述主要損失函數由圖像的色彩誤差L_color、圖像的色彩梯度誤差L_{color_gradient}和光流的平滑誤差L_{flow_smoothness}組成，所述圖像的色彩誤差L_color為預測的RGB圖(記作impred)和目標圖像(記作tar)之間的L1損失，所述圖像的色彩梯度誤差L_{color_gradient}和所述光流的平滑誤差L_{flow_smoothness}在預測圖像和目標圖像的平面維度上對所有通道的像素計算差值，并且對這兩個差值求L1距離，以對生成圖像的高頻分量進行控制，其中，色彩的梯度誤差直接沿著圖像的水平和垂直方向進行計算，而光流平滑損失則沿著輸出光流的水平和垂直方向進行計算。

3.權利要求1所述的一種用于腹腔鏡手術的視頻預測方法，其特征在于：所述步驟S1中的數據預處理具體為：首先對每個視頻的黑邊都進行裁剪，再將每幀圖像的分辨率縮放至512×512，然后，對訓練集和驗證集中的每個視頻都隨機截取長度為3的序列，片段中對圖像的采樣間隔為3幀，分別以0.5的概率將采樣的序列圖像沿著時序、水平和垂直方向進行翻轉，然后對其進行歸一化，并以此作為網絡輸入。