[發(fā)明專利]基于標記點的圖像配準方法

有效

• 申請?zhí)枺?/td>: 202110585049.8
• 申請日: 2021-05-27
• 公開（公告）號: CN113298854B
• 公開（公告）日: 2022-02-01
• 發(fā)明（設計）人: 朱德明;魏軍;沈爍;田孟秋
• 申請（專利權）人: 廣州柏視醫(yī)療科技有限公司
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/00;G06N3/08
• 代理公司: 北京興智翔達知識產(chǎn)權代理有限公司 11768
• 代理人: 郭衛(wèi)芹

本發(fā)明公開了一種基于標記點的圖像配準方法，其主要包括下列步驟：輸入兩個任意模態(tài)的醫(yī)學圖像；采用一個預訓練的神經(jīng)網(wǎng)絡提取兩個輸入圖像的金字塔特征，該網(wǎng)絡的訓練過程包含多種不同的任務并涉及上述多種不同的輸入模態(tài)；利用上述神經(jīng)網(wǎng)絡提取金字塔特征，通過搜索、篩選、匹配等過程得到兩個圖像間的代表某種語義的多個匹配點對；通過最小化所有匹配點對間點距離的總和，擬合出剛性配準的變換矩陣和位移向量，從而得到剛性配準后的醫(yī)學圖像warped image。以及在剛性配準的基礎上，通過基于徑向基的插值法得到非剛性配準的位移場三維矩陣，從而得到非剛性配準后的醫(yī)學圖像warped image。借此，能有效解決標記點金標準缺乏的問題。

技術領域

本發(fā)明涉及圖像處理領域、深度學習領域、醫(yī)療領域，尤其是一種基于標記點的圖像配準方法。

背景技術

圖像配準在醫(yī)學圖像處理與分析中有眾多具有實用價值的應用。隨著醫(yī)學成像設備的進步，對于同一患者，可以采集含有準確解剖信息的多種不同模態(tài)的圖像，如CT、CBCT、MRI、PET等。然而，通過觀察不同圖像進行診斷需要憑著空間想象和醫(yī)生的主觀經(jīng)驗。采用正確的圖像配準方法則可以將多種多樣的信息準確地融合到同一圖像中，使醫(yī)生更方便更精確地從各個角度觀察病灶和結構。同時，通過對不同時刻采集的動態(tài)圖像的配準，可以定量分析病灶和器官的變化情況，使得醫(yī)療診斷、制定手術計劃、放射治療計劃更準確可靠。

傳統(tǒng)的圖像配準方法基于相似度目標函數(shù)的優(yōu)化求解問題，容易收斂至局部極小值，尤其對不同模態(tài)圖像的配準效果較差，且迭代求解的過程耗時較長。而基于標記點的圖像配準方法能解決上述問題，但標記點金標準的獲得需要耗費醫(yī)生、專家的大量時間，成本較高。近年來，人們對探索利用人工智進行診斷產(chǎn)生了濃厚的興趣，并在某些領域利用AI算法建立了表現(xiàn)優(yōu)于人類醫(yī)學專家的數(shù)學模型。因此有理由相信，利用AI算法對傳統(tǒng)圖像配準方法進行改進能有效提高圖像配準的效果。

公開于該背景技術部分的信息僅僅旨在增加對本發(fā)明的總體背景的理解，而不應當被視為承認或以任何形式暗示該信息構成已為本領域一般技術人員所公知的現(xiàn)有技術。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于標記點的圖像配準方法，其能夠利用AI算法對傳統(tǒng)圖像配準方法進行改進能有效提高圖像配準的效果。

為實現(xiàn)上述目的，本發(fā)明提供了一種基于標記點的圖像配準方法，其主要包括下列步驟：輸入兩個任意模態(tài)(CT、CBCT、MRI、PET等)的醫(yī)學圖像，一個作為fixed image(參考圖像)，另一個作為moving image(待配準圖像)；采用一個預訓練的神經(jīng)網(wǎng)絡提取兩個輸入圖像的金字塔特征，該網(wǎng)絡的訓練過程包含多種不同的任務并涉及上述多種不同的輸入模態(tài)；利用上述神經(jīng)網(wǎng)絡提取金字塔特征，通過搜索、篩選、匹配等過程得到兩個圖像間的代表某種語義的多個匹配點對；通過最小化所有匹配點對間點距離的總和，擬合出剛性配準的變換矩陣和位移向量，從而得到剛性配準后的醫(yī)學圖像warped image。以及在剛性配準的基礎上，通過基于徑向基的插值法得到非剛性配準的位移場三維矩陣，從而得到非剛性配準后的醫(yī)學圖像warped image。

在一優(yōu)選的實施方式中，采用一個預訓練的神經(jīng)網(wǎng)絡提取兩個輸入圖像的金字塔特征，包括：神經(jīng)網(wǎng)絡的結構分為骨干網(wǎng)絡和后續(xù)多個分支網(wǎng)絡。骨干網(wǎng)絡在不同任務間共享，每個分支網(wǎng)絡對應一個任務。最后用于提取圖像特征的是骨干網(wǎng)絡。神經(jīng)網(wǎng)絡的訓練過程包含多種不同的任務并涉及多種不同的輸入模態(tài)，包括但不限于：基于CT的鼻咽癌原發(fā)腫瘤(GTV)分割、基于MRI的鼻咽癌原發(fā)腫瘤分割、基于CT的子宮頸癌原發(fā)腫瘤分割、基于PET的肺部原發(fā)腫瘤分割、基于CT的危及器官(OAR)分割、基于MRI的危及器官分割、基于CBCT的危及器官分割、基于CT的肺結節(jié)目標檢測等。以及先用其中一個任務訓練神經(jīng)網(wǎng)絡，再加上其它輸入模態(tài)的任務各一個同時訓練，再分別對剩余的每個任務單獨進行訓練，訓練時骨干網(wǎng)絡參數(shù)固定，最后所有任務同時訓練微調(diào)所有參數(shù)。