[發明專利]板層角膜移植AR手術導航系統及方法

有效

• 申請號: 201911046350.0
• 申請日: 2019-10-30
• 公開（公告）號: CN110604617B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 潘俊君;李方紅;葛璞
• 申請（專利權）人: 深圳市科創數字顯示技術有限公司
• 主分類號: A61B34/20
• 分類號: A61B34/20;G06V20/69;G06V10/764;G06V10/26
• 代理公司: 深圳市德力知識產權代理事務所 44265
• 代理人: 林才桂;張洋

1.一種板層角膜移植AR手術導航系統，其特征在于，包括：攝像單元(10)、與所述攝像單元(10)連接的處理單元(20)以及與所述處理單元(20)連接的AR單元(30)；

所述AR單元(30)用于通過AR在當前幀角膜輪廓圖像中疊加一標記以標注出角膜輪廓以及多個角膜縫針位置；

所述攝像單元(10)用于獲取板層角膜移植手術過程中的視頻影像；

所述處理單元(20)用于對視頻影像中的每一幀圖像中的角膜輪廓進行分割，得到多幀角膜輪廓圖像，將多幀角膜輪廓圖像劃分為多個關鍵幀角膜輪廓圖像與多個遮擋幀角膜輪廓圖像，所述關鍵幀角膜輪廓圖像為角膜輪廓完全可見的圖像，所述遮擋幀角膜輪廓圖像為角膜輪廓被遮擋的圖像，

當當前幀角膜輪廓圖像為遮擋幀角膜輪廓圖像時，通過光流補全網絡恢復當前幀角膜輪廓圖像與該當前幀角膜輪廓圖像相鄰的一個關鍵幀角膜輪廓圖像之間被遮擋而丟失的運動信息，并通過光流補全網絡輸出的補全光流對關鍵幀角膜輪廓圖像進行變形以重建當前幀角膜輪廓圖像，再控制AR單元(30)通過AR在當前幀角膜輪廓圖像中疊加一標記以標注出角膜輪廓以及多個角膜縫針位置；

當當前幀角膜輪廓圖像為關鍵幀角膜輪廓圖像時，控制AR單元(30)通過AR在當前幀角膜輪廓圖像中疊加一標記以標注出角膜輪廓以及多個角膜縫針位置。

2.如權利要求1所述的板層角膜移植AR手術導航系統，其特征在于，所述處理單元(20)通過U-Net分割網絡對角膜輪廓進行分割。

3.如權利要求1所述的板層角膜移植AR手術導航系統，其特征在于，所述處理單元(20)劃分角膜輪廓圖像的具體步驟為：通過每一幀角膜輪廓圖像分割處的角膜輪廓前景點計算每一幀角膜輪廓圖像的中心點坐標p₀(x₀,y₀)，x₀和y₀定義為

其中，P為分割得到的角膜輪廓的點集，n為點集的個數，x為p_i的x坐標值，y為p_i的y坐標值；

分別統計以中心點p₀為原點的坐標系的四個象限內的前景點個數(n₁,n₂,n₃,n₄)，并計算四個象限的對稱比例：

其中，n₁為第一象限內的前景點個數，n₂為第二象限內的前景點個數，n₃為第三象限內的前景點個數，n₄為第四象限內的前景點個數，r_LR為四個象限的左右對稱比例，r_UD為四個象限的上下對稱比例；

通過篩選公式判斷角膜輪廓圖像為關鍵幀角膜輪廓圖像或遮擋幀角膜輪廓圖像，所述篩選公式為：

其中，I_t為角膜輪廓圖像，為遮擋幀角膜輪廓圖像，為關鍵幀角膜輪廓圖像，n_thres為點集個數的閾值，r_{thres_occ}為遮擋幀角膜輪廓圖像對稱比例的閾值，r_{thres_key}為關鍵幀角膜輪廓圖像對稱比例的閾值，n為點集的個數。

4.如權利要求1所述的板層角膜移植AR手術導航系統，其特征在于，所述處理單元(20)通過變形公式對關鍵幀角膜輪廓圖像進行變形，所述變形公式為：

其中，i和j分別為圖像中一預設位置的橫坐標與縱坐標，y_ij為光流變形后的值，和為在預設位置的兩通道光流值，k為線性插值核函數，m和v均為常數，x_mv為以m為橫坐標、v為縱坐標的位置的光流變形前的值。

5.如權利要求1所述的板層角膜移植AR手術導航系統，其特征在于，所述處理單元(20)還通過聯合損失函數重建當前幀角膜輪廓圖像；所述聯合損失函數包括變形損失函數及擴展空間計算損失函數；

所述聯合損失函數為：L＝αL_warp+(1-α)L_esdl，其中，L為聯合損失函數，L_warp為變形損失函數，L_esdl為擴展空間計算損失函數，α大于0且小于1；

所述變形損失函數為：其中，I_key為與當前幀角膜輪廓圖像相鄰的關鍵幀角膜輪廓圖像，為通過光流補全網絡補全的光流，為光流的真實值，為I_key沿著與當前幀角膜輪廓圖像的對齊操作，為I_key沿著與當前幀角膜輪廓圖像的對齊操作；

擴展空間計算損失函數為：其中，f_t,key為由FlowNet2網絡產生的在當前幀角膜輪廓圖像和I_key之間的光流，為擴展空間計算掩模，⊙表示點乘操作。