[發明專利]圖像自動標注和標注質量自動評價方法及系統

在審

• 申請號: 202111145155.0
• 申請日: 2021-09-28
• 公開（公告）號: CN113869211A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 龐明鋒;李攀星;龐樓陽
• 申請（專利權）人: 杭州福柜科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州信與義專利代理有限公司 33450
• 代理人: 丁浩

1.一種圖像自動標注和標注質量自動評價方法，其特征在于，包括：

步驟S1，從采集的消費者從無人售貨柜拿取商品的連續視頻幀圖像中提取出待進行圖像標注的有效幀，并在所述有效幀中裁剪出指定大小的商品拿取區域圖像，得到裁剪圖像；

步驟S2，將所述有效幀的原始圖像以及所述裁剪圖像分別輸入到預先訓練的第一目標檢測模型和第二目標檢測模型中，所述第一目標檢測模型輸出關聯所述原始圖像的第一目標檢測結果，所述第二目標檢測模型輸出關聯所述裁剪圖像的第二目標檢測結果；

步驟S3，根據所述第一目標檢測結果和所述第二目標檢測結果計算所述第一目標檢測模型和所述第二目標檢測模型分別在所述原始圖像中和所述裁剪圖像中框選出的標注框中的內容為物體的概率的概率均值P_mean，以及計算所述第一目標檢測模型和所述第二目標檢測模型分別在所述原始圖像和所述裁剪圖像中框選出的區域面積的交并比P_IOU；

步驟S4，根據所述交并比P_IOU對所述原始圖像的標注框進行修正，并以修正后的所述標注框所框選的區域為裁切對象，從所述有效幀的所述原始圖像中裁切出待進行圖像標注的商品區域圖像；

步驟S5，將所述商品區域圖像輸入到預先訓練的模糊檢測和分類識別模型中，模型輸出所述商品區域圖像中的物體為對應所屬商品類別的類別概率P_class、為圖像背景的概率P_bg以及圖像模糊的概率P_blur；

步驟S6，將所述步驟S3計算的所述交并比P_IOU、所述概率均值P_mean、以及所述步驟S5計算的關聯所述商品區域圖像的所述類別概率P_class、背景概率P_bg、圖像模糊概率P_blur輸入到預先訓練好的標注質量評價模型中，模型輸出對所述有效幀的圖像標注的質量評價結果。

2.根據權利要求1所述的圖像自動標注和標注質量自動評價方法，其特征在于，所述步驟S1中，從連續視頻幀圖像中提取出所述有效幀的方法包括：

步驟S11a，將連續兩幀的所述視頻幀圖像從RGB圖像轉換為灰度圖像，并利用幀間差分法得到當前幀和當前幀的上一幀所述視頻幀圖像之間的差分圖像，記為D(x，y)；

步驟S12a，對圖像D(x，y)進行腐蝕和膨脹處理，去除所述圖像D(x，y)中的噪聲，得到圖像D(x，y)′；

步驟S13a，在所述圖像D(x，y)′中以外接矩形方式框選出運動變化區域；

步驟S14a，計算每個所述運動變化區域的區域面積，并過濾掉區域面積異常的所述運動變化區域；

步驟S15a，判斷經過濾保留的所述圖像D(x，y)′中的所述運動變化區域的數量是否大于預設的數量閾值，

若是，則判定所述當前幀為所述有效幀；

若否，則判定所述當前幀為非所述有效幀。

3.根據權利要求2所述的圖像自動標注和標注質量自動評價方法，其特征在于，所述數量閾值為4。

4.根據權利要求1所述的圖像自動標注和標注質量自動評價方法，其特征在于，從所述有效幀中裁剪出所述裁剪圖像的方法包括：

步驟S11b，計算經過濾保留的每個所述運動變化區域的外接矩形的中心位點坐標，記為(x_i，y_i)，x_i、y_i分別表示第i個所述運動變化區域的所述中心位點的橫軸坐標和縱軸坐標；

步驟S12b，對框選每個所述運動變化區域的所有所述外接矩形的中心位點坐標進行求和平均計算，得到裁剪區域的中心位點坐標，記為(x_center，y_center)；

步驟S13b，在所述有效幀中以坐標(x_center，y_center)為所述裁剪圖像的中心位置，裁剪出指定大小的所述裁剪圖像。