[發(fā)明專利]一種基于深度強(qiáng)化學(xué)習(xí)的圖像數(shù)據(jù)自動(dòng)化標(biāo)注方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110355995.3
• 申請(qǐng)日: 2021-04-01
• 公開（公告）號(hào): CN113076950A
• 公開（公告）日: 2021-07-06
• 發(fā)明（設(shè)計(jì)）人: 何弢;廖文龍;章舸帆
• 申請(qǐng)（專利權(quán)）人: 安徽酷哇機(jī)器人有限公司;蕪湖酷哇機(jī)器人產(chǎn)業(yè)技術(shù)研究院有限公司
• 主分類號(hào): G06K9/32
• 分類號(hào): G06K9/32;G06K9/34;G06K9/62;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 上海段和段律師事務(wù)所 31334
• 代理人: 李佳俊;郭國(guó)中

1.一種基于深度強(qiáng)化學(xué)習(xí)的圖像數(shù)據(jù)自動(dòng)化標(biāo)注方法，其特征在于，所述方法包括：

深度學(xué)習(xí)步驟：自動(dòng)生成目標(biāo)檢測(cè)、實(shí)例分割粗糙預(yù)標(biāo)注；

強(qiáng)化學(xué)習(xí)步驟：自動(dòng)修正標(biāo)注結(jié)果、對(duì)粗糙預(yù)標(biāo)注結(jié)果進(jìn)行微調(diào)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述深度學(xué)習(xí)步驟包括：

CNN特征提取步驟：利用經(jīng)過預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，提取圖像的紋理、語義信息，輸出多尺度特征圖；

多尺度特征融合步驟：對(duì)上述輸出的多尺度特征圖，進(jìn)行融合計(jì)算，輸出經(jīng)過融合處理的多尺度特征圖；

目標(biāo)檢測(cè)頭或?qū)嵗指铑^步驟：輸入融合后的多尺度特征圖，經(jīng)過運(yùn)算初步得到目標(biāo)邊界框位置或目標(biāo)掩膜；

結(jié)果后處理步驟：過濾上一步驟計(jì)算得到的目標(biāo)邊界框，去除低置信度或重復(fù)檢測(cè)到的目標(biāo)邊界框；對(duì)得到的目標(biāo)掩膜提取外輪廓。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述強(qiáng)化學(xué)習(xí)步驟包括：

特征重提取步驟：使用上述深度學(xué)習(xí)算法步驟獲得的目標(biāo)結(jié)果信息，從原始輸入圖片、多尺度特征圖或融合多尺度特征圖上重新采樣，提取更精細(xì)的目標(biāo)特征；

策略函數(shù)神經(jīng)網(wǎng)絡(luò)：函數(shù)π(a_i|s_i,θ)，輸入精細(xì)化目標(biāo)特征，可以輸出對(duì)粗糙預(yù)標(biāo)注結(jié)果的調(diào)整動(dòng)作下應(yīng)當(dāng)進(jìn)行的微調(diào)動(dòng)作的概率分布，通過神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，該神經(jīng)網(wǎng)絡(luò)包含參數(shù)θ，該參數(shù)通過強(qiáng)化學(xué)習(xí)實(shí)時(shí)更新；

動(dòng)作選擇步驟：給定上述動(dòng)作價(jià)值函數(shù)以及精細(xì)化目標(biāo)特征，對(duì)所有可能的所述調(diào)整動(dòng)作計(jì)算對(duì)應(yīng)的價(jià)值回報(bào)估計(jì)，根據(jù)特定的動(dòng)作選擇步驟策略，選擇一個(gè)微調(diào)動(dòng)作輸出；

結(jié)果微調(diào)步驟：將上述選擇的微調(diào)動(dòng)作作用于深度學(xué)習(xí)模型給出的原始結(jié)果，得到更新的目標(biāo)檢測(cè)或?qū)嵗指罱Y(jié)果；

獎(jiǎng)勵(lì)計(jì)算步驟：通過對(duì)比微調(diào)前、后的結(jié)果和標(biāo)注員的修改結(jié)果，或直接通過標(biāo)注員的修改動(dòng)作，對(duì)強(qiáng)化學(xué)習(xí)算法步驟做出的微調(diào)動(dòng)作做出評(píng)價(jià)，作為實(shí)時(shí)獎(jiǎng)勵(lì)r；獎(jiǎng)勵(lì)的計(jì)算可以采用如下方式，或以下幾類方式的按比例求和：

(1)、以標(biāo)注員的標(biāo)注結(jié)果為真值，微調(diào)動(dòng)作作用前后，被標(biāo)注圖像的目標(biāo)檢測(cè)、實(shí)例分割結(jié)果的平均準(zhǔn)確率mAP指標(biāo)提升比例值或差值；

(2)、標(biāo)注員鼠標(biāo)拖動(dòng)距離；

(3)、鼠標(biāo)點(diǎn)擊次數(shù)等操作頻次；

在線優(yōu)化器：根據(jù)策略梯度算法，對(duì)策略函數(shù)的參數(shù)進(jìn)行優(yōu)化。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述動(dòng)作選擇步驟中的微調(diào)動(dòng)作包括：

對(duì)于目標(biāo)檢測(cè)模型，微調(diào)動(dòng)作可表達(dá)為a＝(δ_top，δ_bottom，δ_left，δ_right)，代表的含義分別為：

δ_top：上邊框調(diào)整距離與當(dāng)前框高度的比值之對(duì)數(shù)；

δ_bottom：下邊框調(diào)整距離與當(dāng)前框高度的比值之對(duì)數(shù)；

δ_left：左邊框調(diào)整距離與當(dāng)前框?qū)挾鹊谋戎抵畬?duì)數(shù)；

δ_right：右邊框調(diào)整距離與當(dāng)前框?qū)挾鹊谋戎抵畬?duì)數(shù)；

對(duì)于實(shí)例分割模型，微調(diào)動(dòng)作可表達(dá)為a＝(δ_x1，δ_y1，δ_x2，δ_y2…)，其中xi，yi代表實(shí)例分割目標(biāo)外包絡(luò)線上的第i個(gè)頂點(diǎn)，a中各項(xiàng)代表的含義：

δ_xi：第i個(gè)頂點(diǎn)的微調(diào)位移沿x方向的偏移量與當(dāng)前目標(biāo)寬度的比值之對(duì)數(shù)；

δ_xi：第i個(gè)頂點(diǎn)的微調(diào)位移沿y方向的偏移量與當(dāng)前目標(biāo)高度的比值之對(duì)數(shù)；

動(dòng)作選擇步驟照策略函數(shù)給出的不同動(dòng)作的概率分布，按概率抽樣得到最后的微調(diào)動(dòng)作。