[發明專利]軟組織運動預測方法、裝置、終端設備及可讀存儲介質

有效

• 申請號: 202110345245.8
• 申請日: 2021-03-29
• 公開（公告）號: CN112967275B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 張嘉樂;廖祥云;王瓊;王平安
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/246;G06N3/04
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 左婷蘭

本申請適用于圖像處理技術領域，尤其涉及軟組織運動預測方法、裝置、終端設備及可讀存儲介質。所述軟組織運動預測方法獲取原始圖像序列，原始圖像序列用于描述軟組織在第一時間段的運動軌跡，將原始圖像序列輸入至預設的軟組織運動預測模型進行處理，得到軟組織運動預測模型輸出的預測圖像序列，預測圖像序列用于描述預測到的軟組織在與第一時間段相鄰的第二時間段的運動軌跡；其中，軟組織運動預測模型包括堆疊的多層長短期記憶網絡單元，長短期記憶網絡單元根據時間序列跨層進行目標時空特征的傳輸，長短期記憶網絡單元包括自注意力模塊。通過本申請提供的軟組織運動預測方法可以有效提高軟組織運動預測的效果和精度。

技術領域

本申請屬于圖像處理技術領域，尤其涉及軟組織運動預測方法、裝置、終端設備及計算機可讀存儲介質。

背景技術

在高強度聚焦超聲(high-intensity focused ultrasound，HIFU)影像引導的治療中，軟組織的運動會對治療產生負面影響。因此，需要提前進行軟組織運動預測。現有技術中，可以采用無模型匹配的跟蹤方法和基于模型匹配的跟蹤方法等傳統方法來進行軟組織的運動預測，但這些傳統方法存在運動預測效果較差和精度較低的問題。

發明內容

本申請實施例提供了一種軟組織運動預測方法、裝置、終端設備及計算機可讀存儲介質，可以有效提高軟組織運動預測的效果和精度。

第一方面，本申請實施例提供了一種軟組織運動預測方法，可以包括：

獲取原始圖像序列，所述原始圖像序列用于描述軟組織在第一時間段的運動軌跡；

將所述原始圖像序列輸入至預設的軟組織運動預測模型進行處理，得到所述軟組織運動預測模型輸出的預測圖像序列，所述預測圖像序列用于描述預測到的所述軟組織在與所述第一時間段相鄰的第二時間段的運動軌跡；其中，所述軟組織運動預測模型包括堆疊的多層長短期記憶網絡單元，所述長短期記憶網絡單元根據時間序列跨層進行目標時空特征的傳輸，所述長短期記憶網絡單元包括自注意力模塊。

上述的軟組織運動預測方法，可以通過自注意力模塊獲取全局空間的上下文信息，并根據時間序列跨層進行時空特征的傳輸，以增強不同時間圖像中時空信息的傳遞，使得軟組織運動預測模型具有更強的空間相關性、短期建模能力和長期建模能力，可以大大提高軟組織運動預測模型的預測效果和精度，從而提高軟組織運動預測的效果和精度。

示例性的，所述長短期記憶網絡單元根據時間序列跨層進行目標時空特征的傳輸，可以包括：

第l+1層長短期記憶網絡單元將t-1時刻生成的目標時空特征圖傳輸給t時刻的第l層長短期記憶網絡單元，1≤l＜L，L為所述軟組織運動預測模型包含的長短期記憶網絡單元的總層數。

可選的，所述自注意力模塊包括第一自注意力模塊和第二自注意力模塊，所述第一自注意力模塊與所述第二自注意力模塊并聯，所述第一自注意力模塊用于生成候選時空特征圖，所述第二自注意力模塊用于生成候選空間特征圖。

示例性的，所述第一自注意力模塊可以根據下述公式生成所述候選時空特征圖：