[發(fā)明專利]下肢X光影像中關(guān)鍵點(diǎn)提取方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010680826.2
• 申請(qǐng)日: 2020-07-15
• 公開（公告）號(hào): CN111882532B
• 公開（公告）日: 2021-10-01
• 發(fā)明（設(shè)計(jì)）人: 謝洪濤;張勇東;孫軍;馬凌峰;毛震東
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)技術(shù)大學(xué);安徽省兒童醫(yī)院（安徽省新華醫(yī)院;安徽省兒科醫(yī)學(xué)研究所）
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06K9/46
• 代理公司: 北京凱特來(lái)知識(shí)產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;韓珂

1.一種下肢X光影像中關(guān)鍵點(diǎn)提取方法，其特征在于，包括：

獲取預(yù)先進(jìn)行了N個(gè)關(guān)鍵點(diǎn)標(biāo)注的下肢X光影像，并以此構(gòu)建訓(xùn)練集；

構(gòu)建關(guān)鍵點(diǎn)定位神經(jīng)網(wǎng)絡(luò)模型，通過(guò)關(guān)鍵點(diǎn)定位神經(jīng)網(wǎng)絡(luò)模型提取多尺度信息進(jìn)而提取骨骼的全局空間結(jié)構(gòu)信息，從而預(yù)測(cè)關(guān)鍵點(diǎn)位置；

訓(xùn)練階段，訓(xùn)練集中每一訓(xùn)練影像的每一關(guān)鍵點(diǎn)位置數(shù)據(jù)都被轉(zhuǎn)化為一個(gè)通道的高斯圖，并且每個(gè)通道高斯圖的頂點(diǎn)設(shè)置為相應(yīng)關(guān)鍵點(diǎn)的位置，從而得到每一訓(xùn)練影像的N通道標(biāo)簽圖；每一訓(xùn)練影像經(jīng)過(guò)關(guān)鍵點(diǎn)定位神經(jīng)網(wǎng)絡(luò)模型都會(huì)輸出包含關(guān)鍵點(diǎn)位置的N通道預(yù)測(cè)圖；通過(guò)N通道標(biāo)簽圖與N通道預(yù)測(cè)圖的誤差構(gòu)建損失函數(shù)并進(jìn)行網(wǎng)絡(luò)訓(xùn)練；

測(cè)試階段，將下肢X光影像輸入至訓(xùn)練后的關(guān)鍵點(diǎn)定位神經(jīng)網(wǎng)絡(luò)模型，獲得N通道的預(yù)測(cè)圖，每一通道的預(yù)測(cè)圖對(duì)應(yīng)一個(gè)關(guān)鍵點(diǎn)位置；

其中，通過(guò)全局依賴捕捉模塊提取骨骼的全局空間結(jié)構(gòu)信息；所述全局依賴捕捉模塊輸入為蘊(yùn)含多尺度信息的特征圖X，大小記為H×W，H、W分別為特征圖的高、寬；特征圖X中每個(gè)點(diǎn)都是一個(gè)C維向量，循環(huán)計(jì)算出每個(gè)點(diǎn)與所有點(diǎn)的相關(guān)，點(diǎn)i和點(diǎn)j之間的相關(guān)計(jì)算結(jié)果為：

其中，X_i,k、X_j,k表示特征圖X中i、j位置處，第k維元素的像素值，0≤i,j≤HW-1；

最終得到大小為H×W的相關(guān)圖R，相關(guān)圖R中每個(gè)點(diǎn)通道維度都為HW；利用圖R來(lái)改進(jìn)特征圖X得到輸出Y：

其中，R_i,s表示相關(guān)圖R的位置為i、第s維元素的像素值，X_s,k表示特征圖X中位置為s、第k維元素的像素值，0≤i≤HW-1,0≤k≤C-1。

2.根據(jù)權(quán)利要求1所述的一種下肢X光影像中關(guān)鍵點(diǎn)提取方法，其特征在于，所述關(guān)鍵點(diǎn)定位神經(jīng)網(wǎng)絡(luò)模型其包含預(yù)處理部分與沙漏型結(jié)構(gòu)部分；所述預(yù)處理部分用于對(duì)輸入的訓(xùn)練影像進(jìn)行預(yù)處理，初步提取特征；所述沙漏型結(jié)構(gòu)部分由一系列具有相同結(jié)構(gòu)的沙漏型子網(wǎng)絡(luò)級(jí)聯(lián)而成；所述沙漏型子網(wǎng)絡(luò)對(duì)輸入特征先進(jìn)行下采樣，再提取多尺度信息及骨骼的全局空間結(jié)構(gòu)信息，最后通過(guò)上采樣恢復(fù)到與輸入特征相同大小。

3.根據(jù)權(quán)利要求1或2所述的一種下肢X光影像中關(guān)鍵點(diǎn)提取方法，其特征在于，通過(guò)尺度特征捕捉模塊提取輸入特征的多尺度信息；所述尺度特征捕捉模塊包括四個(gè)并行分支：卷積核大小為1×1且擴(kuò)張率為1的卷積、卷積核大小為3×3且擴(kuò)張率為1的卷積、卷積核大小為3×3且擴(kuò)張率為3的空洞卷積、以及卷積核大小為3×3且擴(kuò)張率為5的空洞卷積；

再通過(guò)逐點(diǎn)相加的策略將四個(gè)并行分支的結(jié)果結(jié)合在一起，輸出蘊(yùn)含多尺度信息的特征圖。

4.根據(jù)權(quán)利要求1所述的一種下肢X光影像中關(guān)鍵點(diǎn)提取方法，其特征在于，

通過(guò)N通道標(biāo)簽圖與N通道預(yù)測(cè)圖的均方誤差構(gòu)建損失函數(shù)，表示為：

其中，t_k,n表示標(biāo)簽圖中位置為k、第n維元素的像素值，p_k,n表示預(yù)測(cè)圖中對(duì)應(yīng)元素的像素值，標(biāo)簽圖與預(yù)測(cè)圖尺寸相同，高、寬分別為H、W。