[發明專利]一種基于圖像聚類的視頻標注方法、系統以及電子設備

有效

• 申請號: 201910041781.1
• 申請日: 2019-01-16
• 公開（公告）號: CN109829397B
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 張發恩;宋亮;秦永強;張祥偉
• 申請（專利權）人: 創新奇智（北京）科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 深圳市智享知識產權代理有限公司 44361
• 代理人: 王琴;蔣慧

1.一種基于圖像聚類的視頻標注方法，其特征在于：包括如下步驟：

S1、提供一個包含多個目標的視頻，所述目標為貨物，所述視頻在預設的拍攝角度、光線條件以及背景條件下獲得；

S2、檢測模型讀取視頻中第一幀圖像并確認需要追蹤的所述多個目標，所述檢測模型為目標檢測網絡，所述檢測模型是基于與每個需要追蹤的目標相匹配的特征訓練而得，所述檢測模型中存有用于識別需要追蹤的所述多個目標的特征模板，當其讀取第一幀圖像時，將當前圖片的特征信息與特征模板上的信息比對以確定需要追蹤的所述多個目標；

S3、目標追蹤模型讀取所述視頻中的每一幀圖像，并識別出每一幀圖像中需要追蹤的多個目標以獲得多張圖像；所述步驟S3具體包括如下步驟：

S31、目標追蹤模型讀取第一幀圖像，獲得第一幀圖像中需要追蹤的多個目標的位置信息和追蹤特征信息，基于第一幀圖像中目標的位置信息和追蹤特征信息將需要追蹤的多個目標進行追蹤并更新每一幀中目標的追蹤特征信息和位置信息；及

S32、目標追蹤模型在讀取后續的每一幀圖像時判斷追蹤的目標是否有丟失，當追蹤模型判斷出追蹤的目標丟失時，所述檢測模型確認目標是否有丟失并繼續對未丟失的目標進行追蹤直至視頻結束；

所述追蹤特征信息包括顏色特征、輪廓特征、紋理特征中一種或者幾種；

S4、利用特征提取器對每張圖像中的每個目標進行特征提取以獲得每個目標的聚類特征信息；

S5、通過聚類算法利用所述聚類特征信息對所述多張圖像中相同類別的目標進行聚類；以及

S6、對所述多個目標進行標注。

2.如權利要求1所述的基于圖像聚類的視頻標注方法，其特征在于：所述步驟S4還包括步驟：根據所述每張圖像中每個目標的聚類特征信息獲得關于每個目標的特征向量以形成關于每個目標的特征向量集。

3.如權利要求2所述的基于圖像聚類的視頻標注方法，其特征在于：步驟S5具體包括如下步驟：

S51、對所述特征向量集篩選，去除不合格的特征向量；

S52、取剩余的特征向量的平均值對所述多張圖像中相同類別的目標進行聚類。

4.如權利要求2所述的基于圖像聚類的視頻標注方法，其特征在于：上述步驟S4中，利用CNN網絡對每一幀圖像中的目標進行特征提取以獲得關于每個目標的聚類特征信息并獲得特征向量。

5.如權利要求1所述的基于圖像聚類的視頻標注方法，其特征在于：對所述步驟S4中獲得的聚類特征信息進行二值化處理或者triplet loss損失函數處理。

6.如權利要求5所述的基于圖像聚類的視頻標注方法，其特征在于：所述目標追蹤模型在讀取第一幀之后的圖像時判斷目標是否丟失的同時還檢測是否有新的目標出現，若檢測到新的目標出現時，所述目標追蹤模型獲取新目標對應的追蹤特征信息并在后續幀中對新目標進行追蹤。