[發明專利]手術流程識別方法、裝置、系統及計算機可讀存儲介質

有效

• 申請號: 202110321310.3
• 申請日: 2021-03-25
• 公開（公告）號: CN112818959B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 王亦菲
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/10;G06V10/764;G06V10/82;G06N3/047;G06N3/048;G06N3/049;G06N3/045;G06N3/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 李珂珂

1.一種手術流程識別方法，其特征在于，所述方法包括：

獲取手術視頻中的第一圖像；

將所述第一圖像輸入第一空間信息提取子模型，輸出所述第一圖像對應的第一空間信息，所述第一空間信息提取子模型為第一深度學習模型包括的一個子模型，所述第一空間信息用于表征所述第一圖像的語義特征；

將所述第一圖像對應的第一空間信息和歷史階段信息輸入第一分類子模型，輸出所述第一圖像所屬的目標手術主階段，所述第一分類子模型為所述第一深度學習模型包括的一個子模型，所述第一深度學習模型包括所述第一空間信息提取子模型與所述第一分類子模型串聯而成的一個分支；或者，將所述第一圖像對應的第一空間信息輸入第一時序信息提取子模型，通過所述第一時序信息提取子模型對所述第一圖像對應的第一空間信息和第一歷史圖像對應的空間信息進行處理，輸出所述第一圖像對應的第一時序信息，將所述第一圖像對應的第一時序信息和歷史階段信息輸入所述第一分類子模型，輸出所述第一圖像所屬的目標手術主階段，所述第一時序信息提取子模型為所述第一深度學習模型包括的一個子模型，所述第一深度學習模型包括所述第一空間信息提取子模型、所述第一時序信息提取子模型與所述第一分類子模型串聯而成的一個分支；

其中，所述第一歷史圖像包括所述手術視頻中在所述第一圖像之前的圖像，所述第一歷史圖像對應的空間信息基于所述第一空間信息提取子模型得到，所述第一時序信息用于表征從所述第一歷史圖像到所述第一圖像的空間信息變化情況，所述目標手術主階段為手術過程涉及的多個主階段中的一個，所述歷史階段信息用于表征在采集所述第一圖像之前經歷的手術階段；

在確定所述目標手術主階段之后，根據所述第一圖像對應的器械存在信息，確定所述第一圖像所屬的手術子階段，所述器械存在信息用于表征所述第一圖像中存在的器械，所述手術子階段為所述目標手術主階段包括的子階段中的一個。

2.根據權利要求1所述的方法，其特征在于，所述多個主階段中至少一個主階段包括子階段，任一子階段具有對應的器械；

所述多個主階段包括觀察搜索階段、術野暴露分離階段、手術主體階段、標本取出階段、沖洗與引流階段、關閉套管口階段；

其中，所述手術主體階段包括切除子階段、結扎子階段、吻合與釘合子階段、縫合子階段；

所述切除子階段對應的器械包括電刀類工具，所述結扎子階段對應的器械包括血管夾和紗條類工具，所述吻合與釘合子階段對應的器械包括疝釘類工具，所述縫合子階段對應的器械包括縫合針和縫合線。

3.根據權利要求1所述的方法，其特征在于，將所述歷史階段信息輸入所述第一分類子模型之前，還包括：

將所述第一圖像對應的第一空間信息輸入第二分類子模型，通過所述第二分類子模型包括的全連接層輸出所述第一圖像對應的歷史階段信息，所述第二分類子模型為所述第一深度學習模型的一個子模型，所述第一深度學習模型還包括所述第一空間信息提取子模型與所述第二分類子模型串聯而成的一個分支。