[發(fā)明專利]一種雙重注意力機(jī)制的舌裂紋提取方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110393854.0
• 申請(qǐng)日: 2021-04-13
• 公開(kāi)（公告）號(hào): CN115205987A
• 公開(kāi)（公告）日: 2022-10-18
• 發(fā)明（設(shè)計(jì)）人: 張文強(qiáng);彭健強(qiáng);李馨蕾;楊大衛(wèi);張葉;王延杰
• 申請(qǐng)（專利權(quán)）人: 復(fù)旦大學(xué);中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所
• 主分類號(hào): G06V40/70
• 分類號(hào): G06V40/70;G06V10/26;G06V10/40;G06V10/774;G06V10/80
• 代理公司: 上海德昭知識(shí)產(chǎn)權(quán)代理有限公司 31204
• 代理人: 郁旦蓉

1.一種雙重注意力機(jī)制的舌裂紋提取方法，用于對(duì)舌裂紋圖像進(jìn)行提取得到舌裂紋結(jié)果，其特征在于，包括如下步驟：

步驟S1-1，調(diào)整所述舌裂紋圖像的亮度以及對(duì)比度得到變換后圖像；

步驟S1-2，對(duì)所述舌裂紋圖像以及所述變換后圖像進(jìn)行處理得到雙重輸入特征圖；

步驟S1-3，將所述雙重輸入特征圖輸入預(yù)先訓(xùn)練好的編解碼器，通過(guò)所述編解碼器中的編碼器從所述雙重輸入特征圖中提取得到深層次特征圖，基于所述深層次特征圖利用所述編解碼器中的解碼器進(jìn)行還原得到高級(jí)別特征圖；

步驟S1-4，對(duì)所述舌裂紋圖像進(jìn)行卷積處理得到低級(jí)別特征圖，利用雙重注意力機(jī)制模塊對(duì)所述高級(jí)別特征圖以及所述低級(jí)別特征圖進(jìn)行信息融合得到像素級(jí)別的標(biāo)簽，從所述標(biāo)簽中得到所述舌裂紋結(jié)果，

其中，所述雙重輸入特征圖、所述深層次特征圖以及所述高級(jí)別特征圖均通過(guò)快速卷積模塊進(jìn)行快速特征提取得到。

2.根據(jù)權(quán)利要求1所述的雙重注意力機(jī)制的舌裂紋提取方法，其特征在于：

其中，所述步驟S1-2包括如下子步驟：

步驟S1-2-1，通過(guò)不同的卷積核分別對(duì)所述舌裂紋圖像以及所述變換后圖像進(jìn)行特征提取，得到所述舌裂紋圖像對(duì)應(yīng)的特征以及所述變換后圖像對(duì)應(yīng)的特征，并分別作為第一重特征以及第二重特征；

步驟S1-2-2，對(duì)所述第一重特征以及所述第二重特征進(jìn)行特征融合得到雙重拼接特征；

步驟S1-2-3，通過(guò)2×2的池化層對(duì)所述雙重拼接特征進(jìn)行最大池化，得到雙重最大池化特征圖；

步驟S1-2-4，利用所述快速卷積模塊從所述雙重最大池化特征圖中進(jìn)行快速特征提取，得到所述雙重輸入特征圖，

其中，所述快速卷積模塊先利用1×1的點(diǎn)卷積對(duì)所述雙重最大池化特征圖進(jìn)行特征提取，然后進(jìn)行批標(biāo)準(zhǔn)化操作，再經(jīng)過(guò)Relu激活函數(shù)，得到第一特征圖，

接著通過(guò)3×3的深度可分離卷積進(jìn)行特征提取，然后通過(guò)批標(biāo)準(zhǔn)化操作以及Relu激活函數(shù)，得到第二特征圖，

將所述第一特征圖以及第二特征圖進(jìn)行拼接得到所述雙重輸入特征圖。

3.根據(jù)權(quán)利要求1所述的雙重注意力機(jī)制的舌裂紋提取方法，其特征在于：

其中，所述步驟S1-3中所述編碼器包括三組最大池化層以及所述快速卷積模塊，所述解碼器包括兩組上采樣層以及所述快速卷積模塊，

所述編碼器中的所述最大池化層將所述雙重輸入特征圖的長(zhǎng)以及寬降至原來(lái)的一半得到壓縮雙重輸入特征圖，

所述編碼器中的快速卷積模塊對(duì)所述壓縮雙重輸入特征圖進(jìn)行快速特征提取并將所述壓縮雙重輸入特征圖的通道數(shù)增加一倍，從而獲得所述深層次特征圖，

所述解碼器中的所述上采樣層利用反卷積操作對(duì)所述深層次特征圖進(jìn)行上采樣得到還原深層次特征圖，并將該還原深層次特征圖與在所述解碼器中對(duì)應(yīng)的壓縮雙重輸入特征圖進(jìn)行拼接操作，得到拼接后深層次特征，

所述解碼器中的快速卷積模塊對(duì)所述拼接后深層次特征進(jìn)行快速特征提取得到所述高級(jí)別特征圖。

4.根據(jù)權(quán)利要求1所述的雙重注意力機(jī)制的舌裂紋提取方法，其特征在于：

其中，所述步驟S1-4包括如下子步驟：

步驟S1-4-1，對(duì)所述舌裂紋圖像進(jìn)行卷積處理得到低級(jí)別特征圖；

步驟S1-4-2，所述雙重注意力機(jī)制模塊對(duì)所述高級(jí)別特征圖進(jìn)行上采樣得到上采樣后高級(jí)別特征圖；

步驟S1-4-3，所述雙重注意力機(jī)制模塊將所述上采樣后高級(jí)別特征圖與所述低級(jí)別特征圖進(jìn)行信息融合得到第一注意力機(jī)制特征圖；

步驟S1-4-4，所述雙重注意力機(jī)制模塊將所述第一注意力機(jī)制特征圖和所述低級(jí)別特征圖進(jìn)行逐點(diǎn)相乘操作，從而得到抑制特征圖；

步驟S1-4-5，所述雙重注意力機(jī)制模塊將所述上采樣后高級(jí)別特征圖、所述低級(jí)別特征圖以及所述抑制特征圖進(jìn)行信息融合，從而得到第二注意力機(jī)制特征圖；

步驟S1-4-6，所述雙重注意力機(jī)制模塊將所述第二注意力機(jī)制特征圖與所述上采樣后高級(jí)別特征圖進(jìn)行逐點(diǎn)相乘操作，從而得到新特征圖；

步驟S1-4-7，所述雙重注意力機(jī)制模塊分別對(duì)所述抑制特征圖以及所述新特征圖進(jìn)行上采樣并拼接，從而得到信息更加全面的特征圖作為全面特征圖；

步驟S1-4-8，根據(jù)所述全面特征圖得到像素級(jí)別的標(biāo)簽，并從所述標(biāo)簽中得到所述舌裂紋結(jié)果。