[發明專利]軟組織運動預測方法、裝置、終端設備及可讀存儲介質

有效

• 申請號: 202110345245.8
• 申請日: 2021-03-29
• 公開（公告）號: CN112967275B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 張嘉樂;廖祥云;王瓊;王平安
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/246;G06N3/04
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 左婷蘭

1.一種軟組織運動預測方法，其特征在于，包括：

獲取原始圖像序列，所述原始圖像序列用于描述軟組織在第一時間段的運動軌跡；

將所述原始圖像序列輸入至預設的軟組織運動預測模型進行處理，得到所述軟組織運動預測模型輸出的預測圖像序列，所述預測圖像序列用于描述預測到的所述軟組織在與所述第一時間段相鄰的第二時間段的運動軌跡；其中，所述軟組織運動預測模型包括堆疊的多層長短期記憶網絡單元，所述長短期記憶網絡單元根據時間序列跨層進行目標時空特征的傳輸，所述長短期記憶網絡單元包括自注意力模塊；

其中，所述長短期記憶網絡單元根據時間序列跨層進行目標時空特征的傳輸，包括：

第l+1層長短期記憶網絡單元將t-1時刻生成的目標時空特征圖傳輸給t時刻的第l層長短期記憶網絡單元，1≤l＜L，L為所述軟組織運動預測模型包含的長短期記憶網絡單元的總層數。

2.如權利要求1所述的軟組織運動預測方法，其特征在于，所述自注意力模塊包括第一自注意力模塊和第二自注意力模塊，所述第一自注意力模塊與所述第二自注意力模塊并聯，所述第一自注意力模塊用于生成候選時空特征圖，所述第二自注意力模塊用于生成候選空間特征圖。

3.如權利要求2所述的軟組織運動預測方法，其特征在于，所述第一自注意力模塊根據下述公式生成所述候選時空特征圖：

其中，為t時刻的第l層長短期記憶網絡單元中的第一自注意力模塊生成的候選時空特征圖，W_f、W_lv、W_xo、W_ho、W_co為預設的權重矩陣，為t時刻的第l層長短期記憶網絡單元中的第一自注意力模塊對應的輸入特征圖，Z_l為第一自注意力模塊基于生成的中間特征圖，Z_l；i為Z_l中的第i個元素，a_l；i,j為中的第i個元素與第j個元素之間的相似性，為中的第j個元素，N為包含的元素的總個數，σ為sigmoid函數，x_t為t時刻的原始圖像，為t-1時刻的第l+1層長短期記憶網絡單元傳輸的目標時空特征圖，為t時刻的第l層長短期記憶網絡單元生成的目標時間特征圖，b_o為預設的偏置項。

4.如權利要求2所述的軟組織運動預測方法，其特征在于，所述第二自注意力模塊根據下述公式生成所述候選空間特征圖：

其中，為t時刻的第l層長短期記憶網絡單元中的第二自注意力模塊生成的候選空間特征圖，W_z、W_mv為預設的權重矩陣，為t時刻的第l-1層長短期記憶網絡單元輸出的目標空間特征圖，Z_m為第二自注意力模塊基于生成的中間特征圖，Z_m；i為Z_m中的第i個元素，a_m；i,j為中的第i個元素與第j個元素之間的相似性，為中的第j個元素，R為包含的元素的總個數。

5.根據權利要求2所述的軟組織運動預測方法，其特征在于，所述長短期記憶網絡單元根據下述公式對所述第一自注意力模塊生成的候選時空特征圖和所述第二自注意力模塊生成的候選空間特征圖進行處理，得到所述長短期記憶網絡單元輸出的目標時空特征圖和目標空間特征圖：

其中，為t時刻的第l層長短期記憶網絡單元輸出的目標時空特征圖，為t時刻的第l層長短期記憶網絡單元輸出的目標空間特征圖，為t時刻的第l層長短期記憶網絡單元中的第一自注意力模塊生成的候選時空特征圖，為t時刻的第l層長短期記憶網絡單元中的第二自注意力模塊生成的候選空間特征圖，⊙為元素乘積，σ為sigmoid函數，W_ho'和W_mg為預設的權重矩陣，b_o'和b_g'為預設的偏置項。