[發明專利]基于標記點的圖像配準方法

有效

• 申請號: 202110585049.8
• 申請日: 2021-05-27
• 公開（公告）號: CN113298854B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 朱德明;魏軍;沈爍;田孟秋
• 申請（專利權）人: 廣州柏視醫療科技有限公司
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/00;G06N3/08
• 代理公司: 北京興智翔達知識產權代理有限公司 11768
• 代理人: 郭衛芹

1.一種基于標記點的圖像配準方法，其特征在于，包括以下步驟：

輸入兩個任意模態的醫學圖像，一個作為fixed image，另一個作為moving image；

采用一個預訓練的神經網絡提取兩個輸入任意模態的所述醫學圖像的金字塔特征，所述神經網絡的訓練過程包含多種任務并涉及多種輸入模態；

利用所述神經網絡提取的所述金字塔特征，通過搜索、篩選及匹配過程得到兩個圖像間的代表某種語義的多個匹配點對；

通過最小化所有匹配點對間點距離的總和，擬合出剛性配準的變換矩陣和位移向量，從而得到剛性配準后的醫學圖像warped image；以及

在剛性配準的基礎上，通過基于徑向基的插值法得到非剛性配準的位移場三維矩陣，從而得到非剛性配準后的醫學圖像warped image；

其中所述采用一個預訓練的所述神經網絡提取兩個輸入的任意模態的所述醫學圖像的所述金字塔特征，包括：所述神經網絡的結構分為骨干網絡和后續多個分支網絡；所述骨干網絡在不同任務間共享，每個所述分支網絡對應一個任務；最后用于提取圖像特征的是所述骨干網絡；以及

先用其中一個任務訓練的所述神經網絡，再加上其它輸入模態的任務各一個同時訓練，再分別對剩余的每個任務單獨進行訓練，訓練時所述骨干網絡參數固定，最后所有任務同時訓練微調所有參數。

2.根據權利要求1所述的基于標記點的圖像配準方法，其特征在于，所述采用一個預訓練的所述神經網絡提取兩個輸入的任意模態的所述醫學圖像的所述金字塔特征，還包括：

所述神經網絡的訓練過程包含多種不同的任務并涉及多種不同的輸入模態，包括：基于CT的鼻咽癌原發腫瘤分割、基于MRI的鼻咽癌原發腫瘤分割、基于CT的子宮頸癌原發腫瘤分割、基于PET的肺部原發腫瘤分割、基于CT的危及器官分割、基于MRI的危及器官分割、基于CBCT的危及器官分割以及基于CT的肺結節目標檢測。

3.根據權利要求1所述的基于標記點的圖像配準方法，其特征在于，利用所述神經網絡提取的所述金字塔特征，通過搜索、篩選及匹配過程得到兩個圖像間的代表某種語義的多個匹配點對，包括以下步驟：

把I_f與I_m輸入上述預訓練的神經網絡，提取兩個輸入圖像的金字塔特征圖的與其中l∈{1,2,3,4,5}表示第l級特征，數字越大表示層數越深，即特征尺寸越小但蘊含更多高層語義；其中I_f即為fixed image，I_m即為moving image；

匹配點的搜索需要在特定的搜索范圍內產生，從l＝5開始設置搜索范圍：

S⁵＝{(P⁵,Q⁵)}

其中：

為I_f的第l級的第n個搜索范圍，對應地為I_m的第l級的第n個搜索范圍，N^l為第l級的搜索范圍的個數，S^l為第l級的多個搜索范圍對的集合；當l＝5時，搜索范圍是與的整個范圍，即N⁵＝1；

通過下式對搜索范圍及的特征圖與進行變換，得到與

其中，表示在范圍內的局部特征圖，為變換后的特征圖，為的均值，為的標準差，同

在搜索范圍與內搜索匹配點對，當滿足以下條件時，兩個點p^l與q^l為匹配點對：

即若以內的點p^l在范圍內搜索時，相似度最高的點是q^l，反之也成立，則p^l與q^l為匹配點對；相似度的計算公式為：

其中，ε(p^l)為點p^l的特定范圍內鄰域的點集；

第l級的所有N^l個搜索范圍分別執行上述搜索匹配點的步驟，便得到所有匹配點對的集合Λ^l：

對于上述步驟搜索得到的匹配點對，還必須通過以下的篩選條件，即該點在特征圖的值必須足夠大：

其中，為最終得到的匹配點對集合，γ為自定義閾值；

得到后，通過下式得到上一級的搜索范圍集合：

其中，為的數量，為第l-1級相對于第l級的神經網絡感受野，點p的坐標為(p_x,p_y,p_z)，ε(q^l)為點q^l的特定范圍內鄰域的點集，ε(q^l)與ε(p^l)為對應概念，p^l與q^l為第l級的兩張圖的匹配點對；以及

得到上一級的搜索范圍集合后，重復上述步驟，得到最終的輸出結果即為兩個圖像的匹配點對集合。