[發明專利]一種基于機器學習的內鏡下輔助活檢的系統及方法

有效

• 申請號: 202011639126.5
• 申請日: 2020-12-31
• 公開（公告）號: CN112614128B
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 馬銘駿;左秀麗;李延青;李真;邵學軍;楊曉云;賴永航;馮健
• 申請（專利權）人: 山東大學齊魯醫院;青島美迪康數字工程有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/46;G06N20/00;G06N3/08;G06N3/04
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 朱忠范

1.一種基于機器學習的內鏡下輔助活檢的系統，其特征在于，包括：

圖像采集模塊，用于獲取內鏡檢查過程中實時采集的待檢測部位視頻幀；

病灶浸潤深度識別模塊，用于利用病灶浸潤深度識別模型識別待檢測部位視頻幀的病灶區域，并對病灶區域的不同分化類型進行浸潤深度打分，得到具有不同浸潤深度的打分矩陣的掩碼圖像；其中，所述病灶浸潤深度識別模型使用多組數據訓練獲得，所述每一組數據均包括包含有病灶區域的內鏡圖像以及用于標注該內鏡圖像中病灶區域的不同分化類型的標注信息；

所述病灶浸潤深度識別模塊包括：圖像標注單元，所述圖像標注單元，用于接收針對病灶區域的不同病灶分化類型的浸潤深度的標注信息，基于該標注信息對內鏡圖像中的病灶區域的不同分化類型進行浸潤深度標注；

對圖像中病灶區域的不同分化類型的進行標注包括：

將病理標本組織連續切片圖像，依據病變縱向病理切片結果判定切片圖像中病灶區域的浸潤深度，得到浸潤深度復原圖，利用SIFT圖像匹配算法對浸潤深度復原圖和內鏡圖像進行匹配，得到具有浸潤深度打分矩陣的內鏡圖像，作為活檢圖像；

利用SIFT圖像匹配算法對浸潤深度復原圖和內鏡圖像進行匹配包括：

確定關鍵點鄰域所在尺度空間的像素大小的鄰域，利用關鍵點鄰域像素的梯度方向為每個關鍵點指定方向參數，將坐標軸旋轉為關鍵點的方向，使算子具備旋轉不變性；再將該鄰域均勻地分為多個窗口，對每個窗口計算多個方向的分量值，根據位置依次排序，得到多維的浸潤深度復原圖的SIFT特征向量和內鏡圖像的SIFT特征向量；

當浸潤深度復原圖的SIFT特征向量和內鏡圖像的SIFT特征向量，使用關鍵點特征向量的歐式距離度量兩幅圖像中關鍵點的相似度，當相似度超過設定閾值，則浸潤深度復原圖的關鍵點與內鏡圖像的關鍵點匹配成立；

利用多組匹配成功的關鍵點計算出浸潤深度復原圖與內鏡圖像間的坐標轉換關系，通過變換矩陣找到浸潤深度復原圖在內鏡圖像中的具體位置，完成匹配。

2.根據權利要求1所述的基于機器學習的內鏡下輔助活檢的系統，其特征在于，所述病灶浸潤深度識別模塊還包括：訓練圖像獲取單元、模型訓練單元以及結果展示單元；

所述訓練圖像獲取單元，用于獲取多幅包含病灶區域的內鏡圖像；

所述模型訓練單元，用于將進行了病灶區域標注的內鏡圖像作為訓練集，訓練所述病灶浸潤深度識別模型；

所述結果展示單元，用于將病灶浸潤深度識別模型識別出的內鏡圖像中的病灶區域不同分化類型進行浸潤深度打分，展示掩碼圖像。

3.根據權利要求2所述的基于機器學習的內鏡下輔助活檢的系統，其特征在于，所述病灶浸潤深度識別模型包括病灶區域識別分支和浸潤深度識別分支。

4.根據權利要求3所述的基于機器學習的內鏡下輔助活檢的系統，其特征在于，采用DETR神經網絡訓練所述病灶區域識別分支。

5.根據權利要求3所述的基于機器學習的內鏡下輔助活檢的系統 ，其特征在于，采用MASK-RCNN卷積神經網絡訓練所述浸潤深度識別分支。