[發明專利]手指遮擋圖像檢測方法、裝置及介質

在審

• 申請號: 202010614796.5
• 申請日: 2020-06-30
• 公開（公告）號: CN111753783A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 曲直;張亞森;宋炎;葛志朋;劉若愚
• 申請（專利權）人: 北京小米松果電子有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08
• 代理公司: 北京名華博信知識產權代理有限公司 11453
• 代理人: 苗源

本公開是關于一種手指遮擋圖像檢測方法、裝置及介質。包括：獲取N張第一原始遮擋圖像和M張第一無遮擋圖像，基于第一原始遮擋圖像和第一無遮擋圖像，生成第一訓練數據集；基于第一訓練數據集對用于手指遮擋圖像檢測的神經網絡模型進行第一訓練；獲取L張第二原始遮擋圖像和K張第二無遮擋圖像，基于第二原始遮擋圖像和第二無遮擋圖像，生成第二訓練數據集；將完成所述第一訓練的神經網絡模型中的線性分類器替換為迭代訓練模塊，構成手指遮擋圖像檢測模型；基于第二訓練數據集對手指遮擋圖像檢測模型進行第二訓練；將待檢測圖像輸入訓練好的手指遮擋圖像檢測模型，以確定待檢測圖像是否為手指遮擋圖像。該方法能夠極大地減少誤報風險。

技術領域

本公開涉及相機控制領域，尤其涉及一種手指遮擋圖像檢測方法、裝置及介質。

背景技術

在用戶手持手機橫向拍照時，由于拍攝習慣等原因，鏡頭邊緣容易被手指遮擋，使得照片邊緣有較小的遮擋區域。由于該類遮擋不易被即時察覺，用戶通常不會重新拍攝，從而無法獲得完美照片而留有遺憾。手指遮擋檢測的任務是在拍照后即時判斷該圖像是否有被遮擋，并在檢測到被遮擋圖像后實時提示用戶重新拍攝。

目前，手指遮擋檢測可以采用下述方法進行：

(1)基于深度信息進行鏡頭遮擋判斷。該方法有以下特性：需要預先知道背景區域的深度信息；具有深度傳感器定時采集前景信息；采用傳統特征，如直方圖特征、差分特征等進行判斷。因此，該方法會首先使用深度傳感器提取深度信息，建立前景/背景深度特征，再通過建立前景背景差異模型判斷有無遮擋情況。該方法存在下述缺點：低端的深度傳感器會帶來很大的深度數據噪聲，引入很多不確定性；高端的深度傳感器會導致成本增加；另外，由于效果存在一些局限，傳統特征已經逐步處于偏輔助的地位。

(2)利用亮度攝像頭信息進行鏡頭遮擋判斷。該方法利用亮度傳感器的信息，從鏡頭成像亮度的維度來判斷是否存在鏡頭遮擋。該方法存在下述缺點：召回率很低，在遮擋范圍很大時才會報警(遮擋面積約占照片面積1/5以上才會報警)；在邊界補光不足的時候會發生誤報，例如在特定明暗區別明顯的場景中，會頻繁報警。

發明內容

為克服相關技術中存在的問題，本公開提供一種手指遮擋圖像檢測方法、裝置及介質系統。

根據本公開實施例的第一方面，提供一種手指遮擋圖像檢測方法，所述方法包括：

獲取N張第一原始遮擋圖像和M張第一無遮擋圖像，其中，N和M為正整數，且N＜M，基于所述第一原始遮擋圖像和所述第一無遮擋圖像，生成第一訓練數據集；

基于所述第一訓練數據集對用于手指遮擋圖像檢測的神經網絡模型進行第一訓練；

獲取L張第二原始遮擋圖像和K張第二無遮擋圖像，其中L和K為正整數，且L＜K，基于所述第二原始遮擋圖像和所述第二無遮擋圖像，生成第二訓練數據集，其中所述K張第二無遮擋圖像包括的場景類型少于所述M張第一無遮擋圖像包括的場景類型，且所述K張第二無遮擋圖像包括易錯場景類型；

將完成所述第一訓練的所述神經網絡模型中的線性分類器替換為迭代訓練模塊，構成手指遮擋圖像檢測模型，所述迭代訓練模塊用于基于所述第二訓練數據集包括的圖像場景特征和圖像遮擋特征進行模型訓練；

基于所述第二訓練數據集對所述手指遮擋圖像檢測模型進行第二訓練；

將待檢測圖像輸入訓練好的手指遮擋圖像檢測模型，以確定所述待檢測圖像是否為手指遮擋圖像。

其中，所述基于所述第一原始遮擋圖像和所述第一無遮擋圖像生成第一訓練數據集，包括：

基于所述第一原始遮擋圖像和所述第一無遮擋圖像，生成對每一張第一無遮擋圖像進行遮擋后的合成遮擋圖像，獲取M張合成遮擋圖像；

基于所述M張第一無遮擋圖像和所述M張合成遮擋圖像，生成第一訓練數據集。