[發(fā)明專利]圖像中地標(biāo)點(diǎn)檢測(cè)方法、裝置、終端設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110812323.0
• 申請(qǐng)日: 2021-07-19
• 公開（公告）號(hào): CN113658101B
• 公開（公告）日: 2023-06-30
• 發(fā)明（設(shè)計(jì)）人: 唐曉穎;孫福海
• 申請(qǐng)（專利權(quán)）人: 南方科技大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/11;G06N3/084
• 代理公司: 深圳中一聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 44414
• 代理人: 趙智博

1.一種圖像中地標(biāo)點(diǎn)檢測(cè)方法，其特征在于，所述檢測(cè)方法包括：

獲取訓(xùn)練數(shù)據(jù)集，包括具有第一標(biāo)簽的N張圖像，其中，第一標(biāo)簽用于指示所述圖像中目標(biāo)區(qū)域中的目標(biāo)地標(biāo)點(diǎn)；

根據(jù)所述第一標(biāo)簽，從所述訓(xùn)練數(shù)據(jù)集所包含圖像中提取所述目標(biāo)地標(biāo)點(diǎn)，并將所述訓(xùn)練數(shù)據(jù)集輸入至地標(biāo)點(diǎn)檢測(cè)網(wǎng)絡(luò)，得到預(yù)測(cè)地標(biāo)點(diǎn)；

獲取所述目標(biāo)地標(biāo)點(diǎn)與所述預(yù)測(cè)地標(biāo)點(diǎn)之間的第一差異信息，及由所述目標(biāo)地標(biāo)點(diǎn)從所述目標(biāo)區(qū)域中劃分出的第一目標(biāo)區(qū)域與由所述預(yù)測(cè)地標(biāo)點(diǎn)從所述目標(biāo)區(qū)域中劃分出的第二目標(biāo)區(qū)域之間的第二差異信息；

基于所述第一差異信息及所述第二差異信息，對(duì)所述地標(biāo)點(diǎn)檢測(cè)網(wǎng)絡(luò)進(jìn)行模型反向傳播，得到訓(xùn)練后的所述地標(biāo)點(diǎn)檢測(cè)網(wǎng)絡(luò)；

基于訓(xùn)練后的所述地標(biāo)點(diǎn)檢測(cè)網(wǎng)絡(luò)，對(duì)待處理圖像進(jìn)行處理，得到所述待處理圖像中的目標(biāo)預(yù)測(cè)地標(biāo)點(diǎn)；

所述基于所述第一差異信息及所述第二差異信息，對(duì)所述地標(biāo)點(diǎn)檢測(cè)網(wǎng)絡(luò)進(jìn)行模型反向傳播，得到訓(xùn)練后的所述地標(biāo)點(diǎn)檢測(cè)網(wǎng)絡(luò)，包括：

基于所述第一差異信息和所述第二差異信息的加權(quán)和構(gòu)建聯(lián)合損失函數(shù)，利用所述聯(lián)合損失函數(shù)計(jì)算得出損失函數(shù)值，根據(jù)所述損失函數(shù)值對(duì)所述地標(biāo)點(diǎn)檢測(cè)網(wǎng)絡(luò)進(jìn)行模型反向傳播，以更新所述地標(biāo)點(diǎn)檢測(cè)網(wǎng)絡(luò)的模型參數(shù)，直至所述地標(biāo)點(diǎn)檢測(cè)網(wǎng)絡(luò)的訓(xùn)練模型收斂，得到訓(xùn)練后的所述地標(biāo)點(diǎn)檢測(cè)網(wǎng)絡(luò)；

其中，所述第一差異信息為目標(biāo)地標(biāo)點(diǎn)坐標(biāo)與預(yù)測(cè)地標(biāo)點(diǎn)坐標(biāo)之間的偏差距離，所述第二差異信息為根據(jù)所述第一目標(biāo)區(qū)域和所述第二目標(biāo)區(qū)域構(gòu)建的異或函數(shù)Xor_loss_x,y，

其中，x和y分別是指所述第一目標(biāo)區(qū)域和所述第二目標(biāo)區(qū)域，且x和y為不同的區(qū)域。

2.如權(quán)利要求1所述的檢測(cè)方法，其特征在于，所述基于訓(xùn)練后的所述地標(biāo)點(diǎn)檢測(cè)網(wǎng)絡(luò)，對(duì)待處理圖像進(jìn)行處理之前，還包括：

將所述待處理圖像對(duì)齊到對(duì)應(yīng)的三維模板空間中，得到配準(zhǔn)后的所述待處理圖像，其中，所述三維模板空間中對(duì)應(yīng)結(jié)構(gòu)點(diǎn)的標(biāo)準(zhǔn)空間位置；配準(zhǔn)后的所述待處理圖像中的結(jié)構(gòu)點(diǎn)位于對(duì)應(yīng)的所述標(biāo)準(zhǔn)空間位置上；

對(duì)應(yīng)地，所述對(duì)待處理圖像進(jìn)行處理，包括：

對(duì)配準(zhǔn)后的所述待處理圖像進(jìn)行處理。

3.如權(quán)利要求1所述的檢測(cè)方法，其特征在于，所述基于訓(xùn)練后的所述地標(biāo)點(diǎn)檢測(cè)網(wǎng)絡(luò)，對(duì)待處理圖像進(jìn)行處理，得到所述待處理圖像中的目標(biāo)預(yù)測(cè)地標(biāo)點(diǎn)，包括：

通過訓(xùn)練后的圖像分割網(wǎng)絡(luò)對(duì)所述待處理圖像進(jìn)行分割處理，得到所述待處理圖像中的目標(biāo)區(qū)域；

采用目標(biāo)標(biāo)簽對(duì)所述待處理圖像的目標(biāo)區(qū)域進(jìn)行標(biāo)記，得到攜帶目標(biāo)標(biāo)簽的所述待處理圖像；

將所述攜帶目標(biāo)標(biāo)簽的所述待處理圖像輸入至所述訓(xùn)練后的所述地標(biāo)點(diǎn)檢測(cè)網(wǎng)絡(luò)，得到所述待處理圖像中的目標(biāo)預(yù)測(cè)點(diǎn)。

4.如權(quán)利要求3所述的檢測(cè)方法，其特征在于，所述訓(xùn)練數(shù)據(jù)集還包括用于指示所述目標(biāo)區(qū)域的第二標(biāo)簽，所述通過訓(xùn)練后的圖像分割網(wǎng)絡(luò)對(duì)所述待處理圖像進(jìn)行分割處理，得到所述待處理圖像中的目標(biāo)區(qū)域之前，還包括：

將所述訓(xùn)練數(shù)據(jù)集輸入至所述圖像分割網(wǎng)絡(luò)，得到目標(biāo)分割區(qū)域；

根據(jù)所述第二標(biāo)簽，從所述訓(xùn)練數(shù)據(jù)集所包含圖像中提取所述目標(biāo)區(qū)域；

獲取所述目標(biāo)區(qū)域與所述目標(biāo)分割區(qū)域之間的差異信息；

基于所述差異信息，對(duì)所述圖像分割網(wǎng)絡(luò)進(jìn)行模型反向傳播，得到訓(xùn)練后的所述圖像分割網(wǎng)絡(luò)。

5.如權(quán)利要求3所述的檢測(cè)方法，其特征在于，所述將所述攜帶目標(biāo)標(biāo)簽的所述待處理圖像輸入至所述訓(xùn)練后的所述地標(biāo)點(diǎn)檢測(cè)網(wǎng)絡(luò)，得到所述待處理圖像中的目標(biāo)預(yù)測(cè)點(diǎn)，包括：

將所述攜帶目標(biāo)標(biāo)簽的所述待處理圖像輸入至所述訓(xùn)練后的所述地標(biāo)點(diǎn)檢測(cè)網(wǎng)絡(luò)，通過所述地標(biāo)點(diǎn)檢測(cè)網(wǎng)絡(luò)對(duì)所述目標(biāo)標(biāo)簽進(jìn)行識(shí)別，確定所述目標(biāo)標(biāo)簽標(biāo)記的區(qū)域?yàn)樗龃幚韴D像的目標(biāo)區(qū)域；

對(duì)所述待處理圖像的目標(biāo)區(qū)域進(jìn)行地標(biāo)點(diǎn)檢測(cè)，得到所述待處理圖像中的目標(biāo)預(yù)測(cè)點(diǎn)。