[發明專利]面向預訓練標注數據不可知的圖像自動標注系統和裝置

有效

• 申請號: 202110317531.3
• 申請日: 2021-03-25
• 公開（公告）號: CN113128565B
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 陳岱淵;鐘昊文;單海軍
• 申請（專利權）人: 之江實驗室
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/762;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 楊小凡

1.面向預訓練標注數據不可知的圖像自動標注系統，包括：獲取模塊和圖像標注模塊，其特征在于還包括分別與所述獲取模塊和圖像標注模塊連接的模型遷移模塊；

所述獲取模塊，用于獲取一組圖像標注任務和待標注圖像；

所述模型遷移模塊，用于將一組確定的預訓練圖像處理模型無監督遷移至適配于待標注圖像域的更新后的圖像處理模型，包括依次連接的模型拆分單元、信息最大化損失約束單元、聚類單元、標簽空間分類單元、標簽分配單元、分配更新單元和收斂單元；

所述模型拆分單元，將確定的預訓練圖像處理模型拆分為特征提取模型和標注預測模型，通過輸入待標注圖像對特征提取模型進行參數更新，并得到更新后的模型，固定標注預測模型的參數，使得；

所述信息最大化損失約束單元，采用信息最大化損失約束特征提取模型，使預訓練圖像處理模型輸出的具體類別確定，整體類別分布離散；

所述聚類單元，通過加權聚類，對特征提取模型的輸出特征進行聚類；

所述標簽空間分類單元，使用大津法自適應地獲取聚類簇大小的閾值，根據閾值區分預訓練數據集標簽空間，具體分為預訓練數據集與待標注圖像的共有類別，預訓練數據集的獨有類別；

所述標簽分配單元，計算待標注圖像與每個共有類別的距離，并據此給所有待標注圖像打上偽標簽；

所述分配更新單元，使用自監督方法對待標注圖像重新聚類，并根據重新聚類后的聚類中心分配偽標簽；

所述收斂單元，判斷更新后的預訓練圖像處理模型是否達到收斂，若否，則返回信息最大化損失約束單元，直到收斂；

所述圖像標注模塊，用于生成與待標注圖像相匹配的標注信息，并進行可視化標注。

2.如權利要求1所述的面向預訓練標注數據不可知的圖像自動標注系統，其特征在于所述模型遷移模塊還包括預處理單元，對待標注圖像進行預處理，包括圖像清洗、圖像增強、圖像標準化，以確保每張圖像數據特征的一致性。

3.如權利要求1所述的面向預訓練標注數據不可知的圖像自動標注系統，其特征在于所述收斂單元，確定收斂的方式包括如下一種或多種方式的結合：

通過記錄預訓練圖像處理模型，在遷移過程中，損失函數的曲線趨勢，判斷是否收斂，當損失函數的曲線斜率小于預先設定的斜率閾值時，確定更新后的預訓練圖像處理模型達到收斂；

通過記錄預訓練圖像處理模型，在遷移過程中，特征提取模型的權重變化趨勢，判斷是否收斂，當權重變化的幅度小于預先設定的幅度閾值時，確定更新后的預訓練圖像處理模型達到收斂；

預先設定預訓練圖像處理模型與訓練相關的超參數閾值，當達到超參數閾值時，確定更新后的預訓練圖像處理模型達到收斂，所述超參數包括遷移的步數、時長。

4.如權利要求1所述的面向預訓練標注數據不可知的圖像自動標注系統，其特征在于當任務選擇圖像檢測，預訓練的圖像處理模型為Faster RCNN，待標注圖像包含一個以上待標注對象時，對每個待標注對象進行檢測，通過輸入待標注圖像對特征提取模型進行參數更新得，固定邊界框預測模型的參數，使得，在遷移過程中，邊界框預測模型生成偽邊界框對每個待標注對象進行檢測，將偽邊界框引入遷移過程，幫助參數更新達到收斂。

5.如權利要求1所述的面向預訓練標注數據不可知的圖像自動標注系統，其特征在于所述獲取模塊，包括任務選取單元、模型確定單元、圖像獲取單元和格式判斷單元；

所述任務選取單元，用于選擇圖像標注任務；

所述模型確定單元，用于確定標注任務對應的預訓練圖像處理模型；

所述圖像獲取單元，用于獲取待標注圖像；

所述格式判斷單元，用于判斷待標注圖像是否滿足規定格式。

6.如權利要求1所述的面向預訓練標注數據不可知的圖像自動標注系統，其特征在于獲取待標注圖像的方式包括：直接讀取數據庫中保存的二進制形式的圖像文件；獲取數據庫中保存的圖像路徑，根據路徑在對應本地或遠程存儲器上讀取圖像文件。