[發明專利]標注方法、裝置及電子設備

在審

• 申請號: 201811024596.3
• 申請日: 2018-09-03
• 公開（公告）號: CN109241907A
• 公開（公告）日: 2019-01-18
• 發明（設計）人: 劉致遠;喬非同;龍灝天;李廣
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F3/0484;G06F3/0487
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 徐麗

本申請提供了一種標注方法、裝置及電子設備，涉及圖像處理的技術領域，該標注方法首先獲取標注人員的唇部圖像；然后對該唇部圖像進行唇語識別，確定與該唇部圖像匹配的標注指令；最后根據該標注指令，對當前的標注對象進行標注操作。通過圖像處理的方式，對標注人員的唇部圖像進行處理，從而識別出標注人員發出的唇語，并確定該唇語對應的標注指令，進而自動執行該標注指令。相比于鍵盤的快捷鍵控制，該方式可使標注人員以更加輕松、自然的交互方式，配合鼠標輔助進行標注，降低標注人員的學習成本，且標注人員通過唇語發出指令，不受坐姿及屏幕距離限制，更有利于標注人員的視力及身體健康。

技術領域

本申請涉及圖像處理技術領域，尤其是涉及一種標注方法、裝置及電子設備。

背景技術

數據標注即根據實際需求，人工為圖片、視頻和語音內容打標簽、做標記。標注好的數據用于訓練算法模型，然后應用到圖像識別、語音識別等不同領域。標注數據作為模型的唯一來源，標注數據質量直接決定了模型推斷的質量。通常來說，數據標注得越準確、數量越多，模型的效果就越好。

標注作為人工智能發展過程中數據提供的重要部分，是一項重復性強，機械性的工作。目前標注人員采用的標注方式以鼠標鍵盤為主，在標注過程中，鼠標用來畫框、打點等操作，鍵盤則是通過快捷鍵的方式，對鼠標進行輔助。鍵盤快捷鍵需要標注人員進行記憶，當快捷鍵變多之后，標注人員的學習成本會很高。且標注人員在使用鍵盤操作時，一定程度上限定了坐姿以及離屏幕的距離。在長時間的標注任務下，這種操作方式會對標注人員視力以及身體造成損傷。

發明內容

有鑒于此，本申請的目的在于提供一種標注方法、裝置及電子設備，以通過唇語識別的方式，降低標注人員的學習成本，并減小長期的鍵盤操作對標注人員視力及身體造成的損傷。

第一方面，本申請實施例提供了一種標注方法，包括：

獲取標注人員的唇部圖像；

對所述唇部圖像進行唇語識別，確定與所述唇部圖像匹配的標注指令；

根據所述標注指令，對當前的標注對象進行標注操作。

結合第一方面，本申請實施例提供了第一方面的第一種可能的實施方式，其中，所述獲取標注人員的唇部圖像包括：

獲取圖像采集裝置采集的圖像，對所述圖像進行人臉檢測；

若檢測所述圖像包含人臉，則從所述圖像中獲取標注人員的唇部圖像。

結合第一方面，本申請實施例提供了第一方面的第二種可能的實施方式，其中，所述對所述唇部圖像進行唇語識別，確定與所述唇部圖像匹配的標注指令包括：

提取所述唇部圖像中的唇部動作信息；

基于預先訓練的唇語識別模型，對所述唇部動作信息進行唇語識別，得到對應的識別結果；

根據所述識別結果確定與所述唇部圖像匹配的標注指令。

結合第一方面的第二種可能的實施方式，本申請實施例提供了第一方面的第三種可能的實施方式，其中，所述唇語識別模型的訓練過程包括：

獲取不同年齡、不同性別、不同嘴形的唇語發出者對應的唇部圖像樣本；

基于所述唇部圖像樣本及預先標注的識別結果對預訓練的模型進行訓練，得到唇語識別模型。

結合第一方面，本申請實施例提供了第一方面的第四種可能的實施方式，其中，所述對所述唇部圖像進行唇語識別，確定與所述唇部圖像匹配的標注指令之后，還包括：

如果所述標注指令為空，則生成并顯示指令錯誤的提示信息；

如果所述標注指令不為空，則顯示所述標注指令。