[發(fā)明專利]一種融合注意力機(jī)制和關(guān)鍵特征的齲齒細(xì)粒度分類方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310039204.5
• 申請(qǐng)日: 2023-01-13
• 公開（公告）號(hào): CN116012343A
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計(jì)）人: 車超;姜浩
• 申請(qǐng)（專利權(quán)）人: 大連大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06V10/764;G06V10/44;G06V10/80;G06V10/46
• 代理公司: 大連智高專利事務(wù)所(特殊普通合伙) 21235
• 代理人: 蓋小靜

1.一種融合注意力機(jī)制和關(guān)鍵特征的齲齒細(xì)粒度分類方法，其特征在于，包括：

步驟1、數(shù)據(jù)樣本采集：收集口腔科就診患者的口腔圖像數(shù)據(jù)；

步驟2、數(shù)據(jù)標(biāo)注：由專業(yè)牙科醫(yī)生對(duì)收集到的口腔圖像數(shù)據(jù)進(jìn)行標(biāo)注，使用labelme軟件進(jìn)行齲齒病變區(qū)域的框選標(biāo)注，每個(gè)標(biāo)注框僅包含一顆齲齒；同時(shí)按照ICDAS中的MergedCodes標(biāo)準(zhǔn)對(duì)齲齒的病變程度進(jìn)行分類，即按照嚴(yán)重程度共分為3類，輕度齲齒，中度齲齒和重度齲齒；

步驟3、數(shù)據(jù)預(yù)處理：檢查數(shù)據(jù)樣本的標(biāo)注情況，刪除數(shù)據(jù)中標(biāo)注錯(cuò)誤及質(zhì)量較低的圖像，并制作齲齒分類數(shù)據(jù)集。

2.根據(jù)權(quán)利要求1所述一種融合注意力機(jī)制和關(guān)鍵特征的齲齒細(xì)粒度分類方法，其特征在于，步驟3具體包括：

步驟3.1：采用人工方式對(duì)口腔圖像進(jìn)行數(shù)據(jù)清洗操作，對(duì)照標(biāo)注實(shí)例，一一篩選并去除掉不合理的標(biāo)簽或質(zhì)量較低的圖像，僅保留標(biāo)注清晰、正確且圖像質(zhì)量較高的口腔圖像；

步驟3.2：按照50％的概率對(duì)保留的口腔圖像進(jìn)行翻轉(zhuǎn)，在口腔圖像翻轉(zhuǎn)過(guò)程中，分別按照50％的概率進(jìn)行水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)；對(duì)于每一張口腔圖像，按照100％的概率進(jìn)行亮度、對(duì)比度和飽和度的調(diào)整，在調(diào)整過(guò)程中，分別按照33.3％的概率進(jìn)行亮度、對(duì)比度和飽和度的隨機(jī)變換；

步驟3.3：按照30％的概率進(jìn)行噪聲添加，在添加過(guò)程中，分別按照33.3％的概率添加高斯噪聲、胡椒噪聲和鹽噪聲；然后保留處理后的口腔圖像和原始口腔圖像，并使用PIL對(duì)齲齒圖像進(jìn)行摳圖，保存為齲齒分類數(shù)據(jù)集。

3.根據(jù)權(quán)利要求1所述一種融合注意力機(jī)制和關(guān)鍵特征的齲齒細(xì)粒度分類方法，其特征在于，本申請(qǐng)還包括步驟4、模型訓(xùn)練：將齲齒圖像及標(biāo)注數(shù)據(jù)送入融合注意力機(jī)制和關(guān)鍵特征的齲齒細(xì)粒度彩色數(shù)字圖像分類模型中進(jìn)行訓(xùn)練。

4.根據(jù)權(quán)利要求3所述一種融合注意力機(jī)制和關(guān)鍵特征的齲齒細(xì)粒度分類方法，其特征在于，步驟4具體包括：

步驟4.1：給定一個(gè)經(jīng)過(guò)連續(xù)卷積操作后的齲齒圖像局部特征C表示齲齒圖像的通道數(shù)量，H表示齲齒圖像的高度，W表示齲齒圖像的寬度，并將其等分為n個(gè)部分，得到[X⁰,X¹,...,X^n-1]，其中

首先獲取每個(gè)等分特征圖的通道注意力值：

Freq＝cat([Freq⁰,Freq¹,...,Freq^n-1]),(2)

其中2DDCT表示2D離散余弦變換，表示第i個(gè)等分特征圖的通道注意力值，[u_i,v_i]表示每個(gè)部分Xⁱ對(duì)應(yīng)的二維分量索引，F(xiàn)req表示得到的多頻譜注意力向量；注意力系數(shù)值表示為：

其中fc表示全連接函數(shù)；

最后，在得到所有通道后的注意力向量后，將齲齒圖像局部特征X的每個(gè)通道與注意力系數(shù)相乘以進(jìn)行縮放：

步驟4.2：獲取主干網(wǎng)絡(luò)最后輸出的齲齒特征首先將F送入兩個(gè)帶有1×1卷積核的卷積層對(duì)其改變形狀，分別得到矩陣Q和K，其中N＝H×W代表了像素點(diǎn)個(gè)數(shù)；

生成一個(gè)空間注意矩陣，對(duì)所述空間注意矩陣中任意兩個(gè)像素之間的空間關(guān)系進(jìn)行建模：

然后，將F送入另一個(gè)卷積核為1×1的卷積層以生成特征圖并將其改變形狀至同時(shí)在注意力矩陣和原始特征之間進(jìn)行矩陣乘法，并將得到的加權(quán)特征與原始特征進(jìn)行相加：

E具有全局上下文視圖，并根據(jù)空間注意力圖選擇性地聚合上下文，使得關(guān)鍵的細(xì)粒度特征更加緊湊和聚集；其中α是預(yù)先設(shè)置為0且可學(xué)習(xí)的參數(shù)；

步驟4.3：首先定義Z_i∈R^C×H×W,Z_i表示CNN主干網(wǎng)絡(luò)第i個(gè)block表示的齲齒特征圖；首先，經(jīng)過(guò)1*1卷積將齲齒特征映射到全局空間，然后對(duì)每一個(gè)特征點(diǎn)進(jìn)行分類：

L(Z_i)＝MLP(Conv(Z_i))(7)

其中Conv表示經(jīng)過(guò)1*1卷積，MLP表示多層感知機(jī)；經(jīng)過(guò)變換后，L(Z_i)∈R^t×H×W，t表示細(xì)粒度分類的類別數(shù)量；

在得到每個(gè)特征點(diǎn)的分類結(jié)果后，還需要獲取每個(gè)特征點(diǎn)在細(xì)粒度類別分類目標(biāo)上的概率分布；按照下式所示，先對(duì)特征向量展平：

其中N＝H×W；

然后應(yīng)用softmax函數(shù)得到分類的概率值：

S(Z_i)即表示第i個(gè)block內(nèi)的每個(gè)特征點(diǎn)在細(xì)粒度類別分類目標(biāo)上的概率分布；在得到概率分布后，選取每個(gè)特征點(diǎn)分類概率中最大的種類，并按照該概率對(duì)所有特征點(diǎn)進(jìn)行排序；在不同層次的特征中篩選不同數(shù)量的特征點(diǎn)。