[發明專利]圖像標注方法、電子裝置及非暫態電腦可讀取儲存媒體

在審

• 申請號: 201711285222.2
• 申請日: 2017-12-07
• 公開（公告）號: CN109829467A
• 公開（公告）日: 2019-05-31
• 發明（設計）人: 蔣欣翰;陳彥霖;林謙;余兆偉;李孟燦
• 申請（專利權）人: 財團法人資訊工業策進會
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 駱希聰

一種圖像標注方法，包括：取得多個圖像幀；自該多個圖像幀中辨識并追蹤一或多個目標物件；根據一第一挑選條件，自該多個圖像幀選出多個候選關鍵圖像幀；決定該多個候選關鍵圖像幀的多個第一相似度指標；決定多個相鄰圖像幀的多個第二相似度指標；將該多個候選關鍵圖像幀，連同該多個相鄰圖像幀中符合一第二挑選條件者，挑選作為多個關鍵圖像幀；將該多個關鍵圖像幀呈現于一圖形化使用者界面，并通過該圖形化使用者界面顯示關于該一或多個目標物件的一標注信息。

技術領域

本發明是有關于一種圖像處理方法、電子裝置及非暫態電腦可讀取儲存媒體，且特別是有關于一種圖像標注(image annotation)方法、電子裝置及非暫態電腦可讀取儲存媒體。

背景技術

目前結合電腦視覺的深度學習(deep learning)技術已是人工智能的發展趨勢。然而深度學習網絡需要大量的圖像標注樣本，才能經由訓練而產生高正確性的深度學習網絡。

目前圖像標注的方法大多采取人工標注。操作者需針對視頻數據中的圖像幀(frame)逐一框選物件，并對其輸入關聯的標注名稱。然而當視頻數據中有大量的目標物件時，此種人工標注方式不僅費時而且耗工。

發明內容

本發明提出一種圖像標注方法、電子裝置及非暫態電腦可讀取儲存媒體，可自動濾除視頻數據中重復性高的無效圖像幀樣本，并篩選出具有物件結構多樣性的關鍵圖像幀供使用者瀏覽，并新增、修正標注物件，以完善圖像標注的結果，進而節省圖像標注所需耗費的人力。另一方面，本發明提出的技術更可導入專家經驗回饋機制以提升擷取關鍵圖像幀的正確性及強健性。

根據本發明的一方面，提出一種由包含處理器的電子裝置實現的圖像標注方法，包括：處理器自視頻數據取得圖像幀序列，圖像幀序列包括多個圖像幀；處理器對圖像幀序列執行物件檢測及追蹤程序，以自這些圖像幀中辨識并追蹤一或多個目標物件；處理器根據第一挑選條件，自這些圖像幀選出多個候選關鍵圖像幀，其中第一挑選條件包括當一或多個目標物件中的一目標物件在這些圖像幀中的圖像幀中開始出現或開始消失，將此圖像幀挑選作為這些候選關鍵圖像幀之一；處理器決定這些候選關鍵圖像幀的多個第一相似度指標，各個第一相似度指標是處理器通過相似度計算，由這些候選關鍵圖像幀中的對應候選關鍵圖像幀的第一協方差值以及此對應候選關鍵圖像幀沿不同方向統計取得的多個第一方差值決定；處理器決定多個相鄰圖像幀的多個第二相似度指標，各個相鄰圖像幀與這些候選關鍵圖像幀至少其一相鄰，各個第二相似度指標是處理器通過相似度計算，由這些相鄰圖像幀中對應相鄰圖像幀的第二協方差值以及此對應相鄰圖像幀沿不同方向統計取得的多個第二方差值決定；處理器將這些候選關鍵圖像幀，連同這些相鄰圖像幀中符合第二挑選條件者，選作多個關鍵圖像幀，第二挑選條件包括當這些相鄰圖像幀中的相鄰圖像幀的對應第二相似度指標與鄰近于相鄰圖像幀的候選關鍵圖像幀的對應第一相似度指標之間的差值超過相似度門檻值，則將相鄰圖像幀挑選作為關鍵圖像幀的其一；處理器將這些關鍵圖像幀呈現于圖形化使用者界面，并通過圖形化使用者界面顯示關于一或多個目標物件的一標注信息。

根據本發明的另一方面，提出一種非暫態電腦可讀取儲存媒體。非暫態電腦可讀取儲存媒體儲存一或多個指令，此一或多個指令可供處理器執行，以使包括此處理器的電子裝置執行本發明的圖像標注方法。