[發(fā)明專利]一種基于歷史記錄的動(dòng)態(tài)標(biāo)簽平滑加權(quán)損失方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010525632.5
• 申請(qǐng)日: 2020-06-10
• 公開(kāi)（公告）號(hào): CN111784595B
• 公開(kāi)（公告）日: 2023-08-29
• 發(fā)明（設(shè)計(jì)）人: 班曉娟;白廣棟;姜淑芳;馬博淵;王宇;楊星
• 申請(qǐng)（專利權(quán)）人: 北京科技大學(xué);中國(guó)人民解放軍總醫(yī)院海南醫(yī)院
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06N3/04;G06N20/00
• 代理公司: 北京市廣友專利事務(wù)所有限責(zé)任公司 11237
• 代理人: 張仲波

本發(fā)明提供一種基于歷史記錄的動(dòng)態(tài)標(biāo)簽平滑加權(quán)損失方法及裝置，屬于圖像處理技術(shù)領(lǐng)域。所述方法包括：S1，為每個(gè)圖像分別建立一個(gè)固定長(zhǎng)度的歷史隊(duì)列，其中，歷史隊(duì)列中的初始值為相應(yīng)圖像真實(shí)的標(biāo)簽類別；S2，在機(jī)器學(xué)習(xí)模型每次迭代訓(xùn)練時(shí)，根據(jù)歷史隊(duì)列計(jì)算相應(yīng)的圖像屬于真實(shí)類別和屬于其他類別的權(quán)重，并將得到的權(quán)重與交叉熵函數(shù)相結(jié)合計(jì)算損失，以優(yōu)化所述機(jī)器學(xué)習(xí)模型；S3，在每次迭代訓(xùn)練完成后，利用所述機(jī)器學(xué)習(xí)模型預(yù)測(cè)到的每個(gè)圖像所屬的類別更新相應(yīng)的歷史隊(duì)列并返回S2繼續(xù)迭代，直至訓(xùn)練完成。采用本發(fā)明，能夠解決分類任務(wù)中因各類別間存在相似性而導(dǎo)致機(jī)器學(xué)習(xí)模型識(shí)別準(zhǔn)確率低的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及是指一種基于歷史記錄的動(dòng)態(tài)標(biāo)簽平滑加權(quán)損失方法及裝置。

背景技術(shù)

分類是數(shù)據(jù)挖掘中的一種常用的數(shù)據(jù)分析形式，通常適用于預(yù)測(cè)數(shù)據(jù)的類別(或類別的概率)，而不是連續(xù)的數(shù)值。在實(shí)際應(yīng)用中，受限于對(duì)數(shù)據(jù)的理解或任務(wù)的要求，不同類別的數(shù)據(jù)之間存在相似性，從而影響數(shù)據(jù)挖掘模型的學(xué)習(xí)過(guò)程，致使模型輸出錯(cuò)誤的分類結(jié)果。

以細(xì)胞癌變圖像數(shù)據(jù)分類應(yīng)用場(chǎng)景為例，細(xì)胞的癌變是一個(gè)連續(xù)的過(guò)程，無(wú)法設(shè)定絕對(duì)的閾值以定量地區(qū)分當(dāng)前細(xì)胞屬于哪個(gè)階段。比如宮頸異常細(xì)胞癌變過(guò)程中包含4個(gè)階段(類別)，非典型鱗狀細(xì)胞-意義不明確(ASC-US)，非典型鱗狀細(xì)胞-不除外高度病變(ASC-H)，低度鱗狀上皮內(nèi)病變(LSIL)，高度鱗狀上皮內(nèi)病變(HSIL)。處于上述四個(gè)階段的細(xì)胞在視覺(jué)特征較為相似，導(dǎo)致專家在部分過(guò)渡階段的細(xì)胞標(biāo)注過(guò)程中較易產(chǎn)生分歧。因此，手工標(biāo)記的這些細(xì)胞是非常繁瑣且高度主觀的，對(duì)于部分細(xì)胞圖像不能完全確定該圖像是否屬于某個(gè)類別。如果使用傳統(tǒng)的交叉熵進(jìn)行計(jì)算損失函數(shù)，會(huì)導(dǎo)致過(guò)擬合的問(wèn)題，且在訓(xùn)練過(guò)程模型準(zhǔn)確度變化不穩(wěn)定。

對(duì)于這個(gè)問(wèn)題，Xiang等提出利用label?smoothing的損失函數(shù)，[Yao?Xiang,Wanxin?Sun?et?al.A?Lovel?Automation-Assisted?Cervical?Cancer?Reading?MethodBased?on?Convolutional?Leural?Letwork[J].arXiv:1912.06649,2019.]，通過(guò)直接對(duì)該圖像數(shù)據(jù)標(biāo)簽的one-hot編碼(一位有效編碼)進(jìn)行修改，將該圖像所屬的真實(shí)標(biāo)簽值降低0.1權(quán)重，并將該0.1權(quán)重平均增加到其他類別上，最后用這種平滑的標(biāo)簽組成新的權(quán)重，并結(jié)合交叉熵計(jì)算損失值。該方法平滑后的標(biāo)簽權(quán)重是固定不變的，存在兩個(gè)問(wèn)題，一是它表明該圖屬于本類別的權(quán)重固定在0.9，不符合實(shí)際應(yīng)用情況；二是該圖像屬于其他類別的權(quán)重相同，不能體現(xiàn)和具體哪個(gè)類別更相似，從而無(wú)法驅(qū)使模型學(xué)習(xí)難分類別樣本的特征。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了基于歷史記錄的動(dòng)態(tài)標(biāo)簽平滑加權(quán)損失方法及裝置，能夠解決分類任務(wù)中因各類別間存在相似性而導(dǎo)致機(jī)器學(xué)習(xí)模型識(shí)別準(zhǔn)確率低的問(wèn)題，所述技術(shù)方案如下：

一方面，提供了一種基于歷史記錄的動(dòng)態(tài)標(biāo)簽平滑加權(quán)損失方法，該方法應(yīng)用于電子設(shè)備，該方法包括：

S1，為每個(gè)圖像分別建立一個(gè)固定長(zhǎng)度的歷史隊(duì)列，其中，歷史隊(duì)列中的初始值為相應(yīng)圖像真實(shí)的標(biāo)簽類別；

S2，在機(jī)器學(xué)習(xí)模型每次迭代訓(xùn)練時(shí)，根據(jù)歷史隊(duì)列計(jì)算相應(yīng)的圖像屬于真實(shí)類別和屬于其他類別的權(quán)重，并將得到的權(quán)重與交叉熵函數(shù)相結(jié)合計(jì)算損失，以優(yōu)化所述機(jī)器學(xué)習(xí)模型；

S3，在每次迭代訓(xùn)練完成后，利用所述機(jī)器學(xué)習(xí)模型預(yù)測(cè)到的每個(gè)圖像所屬的類別更新相應(yīng)的歷史隊(duì)列并返回S2繼續(xù)迭代，直至訓(xùn)練完成。

進(jìn)一步地，所述在機(jī)器學(xué)習(xí)模型每次迭代訓(xùn)練時(shí)，根據(jù)歷史隊(duì)列計(jì)算相應(yīng)的圖像屬于真實(shí)類別和屬于其他類別的權(quán)重，并將得到的權(quán)重與交叉熵函數(shù)相結(jié)合計(jì)算損失，以優(yōu)化所述機(jī)器學(xué)習(xí)模型包括：

根據(jù)第一圖像對(duì)應(yīng)的歷史隊(duì)列，計(jì)算第一圖像屬于其他類別的權(quán)重wi，其中，第一圖像為任一圖像；