[發明專利]一種基于深度強化學習的圖像數據自動化標注方法及系統

在審

• 申請號: 202110355995.3
• 申請日: 2021-04-01
• 公開（公告）號: CN113076950A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 何弢;廖文龍;章舸帆
• 申請（專利權）人: 安徽酷哇機器人有限公司;蕪湖酷哇機器人產業技術研究院有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/62;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

本發明提供了一種基于深度強化學習的圖像數據自動化標注方法及系統，涉及計算機視覺技術領域，該方法包括：步驟1：深度學習算法：用于自動生成目標檢測、實例分割粗糙預標注；步驟2：強化學習算法：用于自動修正標注結果、對粗糙預標注結果進行微調。本發明能夠能夠利用深度學習算法，自動化生成粗糙的預標注結果，并使用強化學習算法，學習圖像標注員對上述粗糙預標注結果的修正策略，通過在線學習這種調整策略，減少標注員手工干預、修正的幅度和頻次。

技術領域

本發明涉及計算機視覺技術領域，具體地，涉及一種基于深度強化學習的圖像數據自動化標注方法及系統。

背景技術

圖像自動標注是指針對圖像的視覺內容，通過機器學習的方法自動給圖像添加反應其內容的文本特征信息的過程。基本思想是：利用已標注圖像集或其他可獲得的信息，自動學習語義概念空間與視覺特征空間的潛在關聯或者映射關系，給未知圖像添加文本關鍵詞。

人工智能圖像識別算法的開發，通常需要大量的帶標注的圖像用于算法的訓練。目前，圖像的標注主要有以下方法：人工標注、基于深度學習算法的自動預標注和基于深度強化學習算法的自動預標注。

針對上述現有技術，使用人工標注的方法，存在周期長、人力成本高的缺陷；而基于深度學習算法的自動預標注的方法可降低人工標注負擔，但標注質量比人工標注低，且在整個標注任務中，無法通過主動學習自主提升預標注的質量；在基于深度強化學習算法的自動預標注的方法中，算法可以通過主動學習自主提升預標注的質量，但算法無法學習標注員的手工調整策略，因此不一定能夠減少標注員手工干預和修正的幅度、頻次。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種基于深度強化學習的圖像數據自動化標注方法及系統，能夠利用深度學習算法，自動化生成粗糙的預標注結果，并使用強化學習算法，學習圖像標注員對上述粗糙預標注結果的修正策略，通過在線學習這種調整策略，減少標注員手工干預、修正的幅度和頻次。

根據本發明提供的一種基于深度強化學習的圖像數據自動化標注方法及系統，所述方案如下：

第一方面，提供了一種基于深度強化學習的圖像數據自動化標注方法，所述方法包括：

深度學習算法步驟：自動生成目標檢測、實例分割粗糙預標注；

強化學習算法步驟：自動修正標注結果、對粗糙預標注結果進行微調。

優選的，所述深度學習算法步驟包括：

CNN特征提取步驟：利用經過預訓練的卷積神經網絡，提取圖像的紋理、語義信息，輸出多尺度特征圖；

多尺度特征融合步驟：對上述輸出的多尺度特征圖，進行融合計算，輸出經過融合處理的多尺度特征圖；

目標檢測頭或實例分割頭步驟：輸入融合后的多尺度特征圖，經過運算初步得到目標邊界框位置或目標掩膜；

結果后處理步驟：過濾上一步驟計算得到的目標邊界框，去除低置信度或重復檢測到的目標邊界框；對得到的目標掩膜提取外輪廓。

優選的，所述強化學習算法包括：

特征重提取步驟：使用上述深度學習算法步驟獲得的目標結果信息，從原始輸入圖片、多尺度特征圖或融合多尺度特征圖上重新采樣，提取更精細的目標特征；

策略函數神經網絡：函數π(a_i|s_i,θ)，輸入精細化目標特征，可以輸出對粗糙預標注結果的調整動作下應當進行的微調動作的概率分布，通過神經網絡實現，該神經網絡包含參數θ，該參數通過強化學習實時更新；

動作選擇步驟：給定上述動作價值函數以及精細化目標特征，對所有可能的所述調整動作計算對應的價值回報估計，根據特定的動作選擇步驟策略，選擇一個微調動作輸出；