[發明專利]一種基于人工智能的解剖變異識別提示方法及系統

有效

• 申請號: 202210235270.5
• 申請日: 2022-03-11
• 公開（公告）號: CN114299072B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 李昂;王昕;趙穎;劉杰
• 申請（專利權）人: 四川大學華西醫院;成都與睿創新科技有限公司
• 主分類號: G16H30/40
• 分類號: G16H30/40;G06T7/00;G06T7/11;G16H20/40;G16H40/20;G06V10/77;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京天奇智新知識產權代理有限公司 11340
• 代理人: 肖會

1.一種基于人工智能的解剖變異識別提示系統，其特征在于：它包括影像圖像獲取模塊、變異解剖結構檢測模塊、解剖要素區域檢測模塊和器械檢測模塊；

所述影像圖像獲取模塊用于獲取多種類型的影像學圖像及相關手術視頻數據，并進行處理后得到影像學關鍵圖片序列和視頻幀序列；

所述變異解剖結構檢測模塊用于通過UNet++網絡進行特征提取，將得到的特征圖作為后續網絡的輸入，最后得到對應視頻幀中變異結構出現的區域；

所述解剖要素區域檢測模塊用于通過UNet++網絡進行特征提取，將得到的特征圖作為后續網絡的輸入，最后得到對應視頻幀中出現的解剖要素區域的位置，并為變異結構檢測模塊的運行提供數據支持；

所述器械檢測模塊用于通過CPNet網絡進行特征提取，將得到的特征圖作為后續網絡的輸入，最后得到對應的視頻中出現的器械尖部的位置；

所述系統運行時執行解剖變異識別提示方法的步驟，其包括：

實時采集腔鏡圖像，并根據腔鏡器官分割模型和器械關鍵點檢測模型獲取實時器官分割數據以及器械關鍵點數據；

影像學圖像變異解剖結構分割模型和影像學圖像器官分割模型提供患者影像學檢查的模型識別結果，其識別結果通過Python根據其橫豎坐標中心點及其極值生成在最小外界框基礎上向外擴大延伸而形成擴大外界框，其中包括變異解剖結果或者周圍器官的識別結果，以及周圍結構的識別結果，并根據擴大外界框與其周圍器官識別結果對應范圍之間的相交關系，從而確定獲取變異結構和周圍器官組織的位置關系；

根據變異解剖結構和周圍器官組織的位置關系，以及實時器官分割數據，即腔鏡下視野的解剖識別結果，實時推斷變異結構在腔鏡手術視野下的位置；

實時檢測器械關鍵點和變異結構的位置信息，當器械在變異解剖結構區域進行操作時，對變異解剖結構區域進行提示，手術操作者根據提示進行操作；

重復上述步驟，直到手術結束。

2.根據權利要求1所述的一種基于人工智能的解剖變異識別提示系統，其特征在于：所述解剖變異識別提示方法還包括影像學圖像及手術圖像的標注數據庫構建步驟以及模型構建步驟；所述影像學圖像及手術圖像的標注數據庫構建步驟包括：

構建多種類型的影像學圖像變異解剖結構分割標注數據庫和影像學圖像器官分割標注數據庫；

對手術圖片進行抽取，標注構建手術圖片下的器官結構分割標注數據和器械關鍵點標注數據；

所述模型構建步驟包括：構建影像學圖像變異解剖結構分割模型、影像學圖像器官分割模型、腔鏡圖像器官分割模型、腔鏡圖像器械關鍵點檢測模型。

3.根據權利要求2所述的一種基于人工智能的解剖變異識別提示系統，其特征在于：所述構建多種類型的影像學圖像變異解剖結構分割標注數據庫和影像學圖像器官分割標注數據庫包括：

收集影像學圖像，根據需要標注的解剖結構及其周圍的標志性解剖區域所在的區域、體位以及影像學圖像采集的角度，初步篩選需要標注的圖片或圖片組；

根據需要標注的變異解剖結構及其周圍所在區域對應的不同外科專科，安排多名相應科室且滿足主治醫師級別的醫師通過多邊形標注的方式，標注變異解剖結構組織及周圍標志性解剖器官，并由至少1名滿足主任醫師級別的醫師對標注結果進行核查；

完成用于訓練影像學圖像器官分割模型和影像學圖像變異解剖結構分割模型的數據庫的構建。

4.根據權利要求2所述的一種基于人工智能的解剖變異識別提示系統，其特征在于：所述對手術圖片進行抽取，標注構建手術圖片下的器官結構分割標注數據和器械關鍵點標注數據包括：

根據需要訓練的不同變異結構部位所在的解剖區域及其對應負責的科室，收集對應科室的各種類型手術視頻數據，并將其通過格式轉碼軟件轉換為相應格式，按照1秒/幀的時間間隔抽取手術圖片；

對抽取的圖片通過多邊形標記器官分割標注圖片中的器官分割數據，和通過點標注法標注操作器械的關鍵點數據，安排多名相應科室且滿足主治醫師級別的醫師進行標注，并由至少1名相應科室且滿足主任醫師級別的醫師對標注結果進行核查；

完成用于訓練腔鏡圖像器官分割模型、腔鏡圖像器械關鍵點檢測模型的數據庫的構建。