[發(fā)明專(zhuān)利]基于口腔全景片和雙重注意力模塊的齲齒識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110360203.1
• 申請(qǐng)日: 2021-04-02
• 公開(kāi)（公告）號(hào): CN113221945B
• 公開(kāi)（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 曹政;葉冠琛;朱海華;吳健;朱赴東;陳謙明
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江大學(xué)
• 主分類(lèi)號(hào): G06V10/764
• 分類(lèi)號(hào): G06V10/764;G06V10/80;G06V10/82;G06V10/26;G06N3/0464;G06N3/045;G06T7/11;G06T7/194
• 代理公司: 杭州求是專(zhuān)利事務(wù)所有限公司 33200
• 代理人: 趙杭麗

本發(fā)明提供一種基于口腔全景片和雙重注意力模塊的齲齒識(shí)別方法，使用深度學(xué)習(xí)技術(shù)對(duì)口腔全景片中的齲齒區(qū)域同時(shí)進(jìn)行邊緣分割和相應(yīng)的病變程度識(shí)別方法。深度學(xué)習(xí)技術(shù)包括了基于圖像空間域和通道域的雙重注意力模塊，以及基于該雙重注意力模塊建立的分割和分類(lèi)網(wǎng)絡(luò)。本齲齒識(shí)別系統(tǒng)由三個(gè)模塊組成：數(shù)據(jù)預(yù)處理模塊、雙重注意力分割網(wǎng)絡(luò)模塊和雙重注意力分類(lèi)網(wǎng)絡(luò)模塊。本方法在深度學(xué)習(xí)過(guò)程中對(duì)圖像區(qū)域的注意力進(jìn)行分層采樣和計(jì)算，將分割網(wǎng)絡(luò)和分類(lèi)網(wǎng)絡(luò)串聯(lián)起來(lái)，實(shí)現(xiàn)了端到端的一站式齲齒區(qū)域的定位以及病變程度的識(shí)別。通過(guò)實(shí)現(xiàn)口腔全景片中齲齒區(qū)域的自動(dòng)分割以及對(duì)應(yīng)齲齒病變的結(jié)果導(dǎo)出，對(duì)于口腔健康的維護(hù)具有重要的臨床和社會(huì)意義。

技術(shù)領(lǐng)域

本發(fā)明屬于醫(yī)療輔助領(lǐng)域，涉及基于口腔全景片和雙重注意力模塊的齲齒識(shí)別方法，主要是利用基于雙重注意力分割網(wǎng)絡(luò)模塊和分類(lèi)網(wǎng)絡(luò)模塊的深度學(xué)習(xí)模型實(shí)現(xiàn)口腔全景片中的齲齒病變程度的識(shí)別。

背景技術(shù)

齲齒是一種由口腔中多種因素復(fù)合作用所導(dǎo)致的牙齒硬組織進(jìn)行性病損，是口腔主要的常見(jiàn)病，也是人類(lèi)最普遍的疾病之一。臨床上可見(jiàn)齲齒有色、形、質(zhì)的變化，而以質(zhì)變?yōu)橹鳎⑿巫兓琴|(zhì)變的結(jié)果，隨著病程的發(fā)展，病變由釉質(zhì)進(jìn)入牙本質(zhì)，組織不斷被破壞、崩解而逐漸形成齲洞，臨床上常根據(jù)齲壞程度分為淺、中、深齲三個(gè)階段。由于目前大眾對(duì)口腔健康的需求日益增長(zhǎng)，越來(lái)越多人到醫(yī)院或診所進(jìn)行口腔方面的咨詢(xún)或治療。而由于病患多，診療時(shí)間有限，有時(shí)醫(yī)生不得已只能優(yōu)先關(guān)注有癥狀的牙齒，而忽略了其他潛在的程度較輕的齲齒，齲病的進(jìn)一步發(fā)展，提高了治療難度和治療費(fèi)用。全景片是口腔臨床上最常見(jiàn)的輔助檢查手段，全景片包括了口內(nèi)所有牙齒，且費(fèi)用低，輻射量小。隨著現(xiàn)代醫(yī)療水平的提高，如何利用電子信息技術(shù)實(shí)現(xiàn)基于口腔全景片的齲齒病變程度自動(dòng)化檢測(cè)成為一個(gè)熱門(mén)的研究課題。

作為人工智能的重要組成部分，深度學(xué)習(xí)技術(shù)在醫(yī)療輔助診斷領(lǐng)域取得了很好的效果。與傳統(tǒng)的方法相比，深度學(xué)習(xí)通過(guò)使用更多的數(shù)據(jù)量學(xué)習(xí)特征，能取得更好的泛化性能。深度學(xué)習(xí)中的深度神經(jīng)網(wǎng)絡(luò)可以在網(wǎng)絡(luò)中自動(dòng)提取特征，而不需要人為的特征選擇，提取過(guò)的特征又可以根據(jù)網(wǎng)絡(luò)的全連接層進(jìn)行分類(lèi)，從而使得特征提取和分類(lèi)結(jié)合在了一起，獲得比傳統(tǒng)方法更出色的結(jié)果。

然而現(xiàn)有的深度學(xué)習(xí)方法直接輸入口腔全景圖進(jìn)行齲齒輔助識(shí)別，卷積神經(jīng)網(wǎng)絡(luò)在特征的提取過(guò)程中通常會(huì)丟失大部分全局信息，深度學(xué)習(xí)模型所聚焦的區(qū)域也非常分散，在齲齒識(shí)別任務(wù)中表現(xiàn)不佳。因此，開(kāi)發(fā)一種改進(jìn)的深度學(xué)習(xí)算法準(zhǔn)確進(jìn)行齲齒的識(shí)別是本領(lǐng)域亟需解決的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的是在已有的使用深度學(xué)習(xí)方法對(duì)齲齒進(jìn)行識(shí)別的基礎(chǔ)上，提出了一種分割再分類(lèi)的兩階段識(shí)別方法，以及對(duì)應(yīng)的雙重注意力模塊，使得深度學(xué)習(xí)模型可以聚焦在判斷牙齒的患齲區(qū)域提取特征。在保證運(yùn)行速度，泛化性的同時(shí)，提高了識(shí)別方法的性能。

本發(fā)明使用口腔全景片作為數(shù)據(jù)輸入，設(shè)計(jì)了雙重注意力模塊，提取圖像的通道域和空間域特征，并加以融合進(jìn)深度學(xué)習(xí)模型中，使得模型能夠?qū)W習(xí)到特定區(qū)域的豐富特征。基于雙重注意力模塊，設(shè)計(jì)了雙重注意力分割網(wǎng)絡(luò)和雙重注意力分類(lèi)網(wǎng)絡(luò)。口腔全景片首先經(jīng)過(guò)分割網(wǎng)絡(luò)提取出齲齒區(qū)域，裁剪為圖像塊；再使用分割出的圖像塊輸入至分類(lèi)網(wǎng)絡(luò)，判斷該齲齒區(qū)域病變程度的分類(lèi)情況。該齲齒識(shí)別方法由三個(gè)模塊組成：數(shù)據(jù)預(yù)處理模塊、雙重注意力分割網(wǎng)絡(luò)模塊，和雙重注意力分類(lèi)網(wǎng)絡(luò)模塊。

為實(shí)現(xiàn)上述目的，本發(fā)明提供以下技術(shù)步驟：

1.數(shù)據(jù)預(yù)處理：利用資料庫(kù)中的口腔全景片進(jìn)行數(shù)據(jù)標(biāo)注及標(biāo)準(zhǔn)化預(yù)處理，準(zhǔn)備訓(xùn)練集；

具體包括：

(1)從放射檢查中得到圖像清晰的口腔全景片，調(diào)節(jié)亮度與對(duì)比度至可以區(qū)分骨骼間隙；

(2)放縮并裁減原始圖像，得到一幅1920*1080像素尺寸的圖片作為數(shù)據(jù)輸入。

2.分割齲齒區(qū)域：通過(guò)雙重注意力分割網(wǎng)絡(luò)模塊，分割口腔全景片圖像中所有的齲齒區(qū)域，分離口腔背景區(qū)域和目標(biāo)區(qū)域，提取對(duì)應(yīng)的圖像塊；