[發明專利]基于深度學習的標記識別方法和訓練方法及其系統和電子設備

在審

• 申請號: 202010022240.7
• 申請日: 2020-01-09
• 公開（公告）號: CN113095347A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 孫俊;蔣坤君;胡增新
• 申請（專利權）人: 舜宇光學（浙江）研究院有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/11;G06T7/13;G06T7/70;G06T7/80
• 代理公司: 寧波理文知識產權代理事務所(特殊普通合伙) 33244
• 代理人: 羅京;孟湘明

一種基于深度學習的標記識別方法和訓練方法及其系統和電子設備。該基于深度學習的標記識別方法包括步驟：獲取一原始標記圖像，其中該原始標記圖像是經由圖像采集設備拍攝標記而獲得的圖像；和將該原始標記圖像輸入至預先訓練好的且基于多任務級聯卷積網絡構建的標記識別模型中進行標記識別，以輸出該標記的邊框和關鍵點在該原始標記圖像上的位置，從而實現該標記的識別。

技術領域

本發明涉及標記識別技術領域，尤其是涉及基于深度學習的標記識別方法和訓練方法及其系統和電子設備。

背景技術

標記(Marker)作為一種特定樣式的平面圖案，通常采用圖像處理等算法從視覺場景中被識別出來，以確定該標記的4個頂點和中心點的坐標。由于標記通常是預設的，其尺寸參數也是已知的，因此根據標記坐標系與相機坐標系之間的對應關系，就能夠求解該相機的內外參數，并且該標記也能夠被作為相對于相機的世界坐標系的標記，因而標記識別常常被應用于相機標定、機器人導航以及增強現實(AR)等領域。

現有的標記識別方法通常是基于傳統的圖像處理技術，利用標記的邊緣信息、幾何信息以及色度信息進行識別。具體地，現有的標識識別方法先通過灰度化和閾值分割處理技術將標記圖像轉化成二值圖像，再利用腐蝕、邊框提取以及霍夫(Hough)變換等技術獲得標記的包圍框，最后經過種子填充和幾何限制等手段取得該標記上的特征點集合。

然而，由于現有的標記識別方法利用的是標記的邊緣信息、幾何信息以及色度信息，因此該現有的標記識別方法的識別精度將受到標記圖像質量的直接影響，對光照均勻性和抖動等因素極為敏感。例如，當因應用場景中的光照不均勻而導致獲取的標記圖像上的部分區域過暗、部分區域又過亮，或者因AR設備的抖動而導致獲取的標記圖像產生模糊時，將較大程度地提高有效信息的噪聲，甚至導致有效信息的丟失，最終無法準確地識別該標記。特別地，對于AR設備而言，AR設備所處的應用場景中的光照條件較差，并且AR設備在用戶佩戴時會隨著用戶的肢體動作而發生抖動，造成該現有的標記識別方法難以被應用到AR領域中去；也就是說，通過該現有的標記識別方法獲得的標記識別結果無法在AR設備的SLAM定位中使用。

發明內容

本發明的一優勢在于提供一基于深度學習的標記識別方法和訓練方法及其系統和電子設備，其能夠提高對不均勻光照和相機抖動的魯棒性，以便在光照條件差或抖動的應用場景中獲得精確的標記識別結果。

本發明的另一優勢在于提供一基于深度學習的標記識別方法和訓練方法及其系統和電子設備，其中，在本發明的一實施例中，所述基于深度學習的標記識別方法采用端對端的深度學習技術，僅通過輸入標記圖像就能夠直接輸出標記的邊框和關鍵點坐標，有助于降低標記識別的難度，提高識別精度。

本發明的另一優勢在于提供一基于深度學習的標記識別方法和訓練方法及其系統和電子設備，其中，在本發明的一實施例中，所述基于深度學習的標記識別方法能夠避免像現有的標記識別方法那樣，僅利用標記的邊緣信息、幾何信息以及色度信息，以解決對光照不均勻和圖像模糊較為敏感的問題。

本發明的另一優勢在于提供一基于深度學習的標記識別方法和訓練方法及其系統和電子設備，其中，在本發明的一實施例中，所述基于深度學習的標記識別方法能夠通過采用較多的模糊或光照不均勻的標記圖像樣本來參與模型訓練，以便適應各種抖動或光照條件較差的應用場景，并能夠實現更加穩定的標記識別。

本發明的另一優勢在于提供一基于深度學習的標記識別方法和訓練方法及其系統和電子設備，其中，在本發明的一實施例中，所述基于深度學習的標記識別方法不需要大量的標注樣本，能夠通過圖像融合的方式對標記圖案進行圖像增強處理以生成大量的標記樣本，有助于降低模型訓練的成本。

本發明的另一優勢在于提供一基于深度學習的標記識別方法和訓練方法及其系統和電子設備，其中，在本發明的一實施例中，所述基于深度學習的標記識別方法具有識別速度快、識別精度高以及漏檢率低等特點，能夠將標記識別的時間開銷控制在合理范圍內，以滿足實際應用場景的要求。