[發明專利]遮擋圖像檢測方法、裝置及介質

在審

• 申請號: 202011054873.2
• 申請日: 2020-09-28
• 公開（公告）號: CN112200040A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 劉若愚;曲直;張亞森;宋炎;葛志朋
• 申請（專利權）人: 北京小米松果電子有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08
• 代理公司: 北京名華博信知識產權代理有限公司 11453
• 代理人: 苗源

本公開是關于一種遮擋圖像檢測方法、裝置及介質。所述方法包括：通過攝像頭捕捉到圖像后，獲取所述圖像并作為待檢測圖像；將待檢測圖像輸入訓練后的遮擋圖像檢測模型；其中，所述遮擋圖像檢測模型是采用原始遮擋圖像、無遮擋圖像并利用訓練后的數據特征增強網絡進行訓練的；基于所述遮擋圖像檢測模型中關于圖像的遮擋特性，判斷所述待檢測圖像是否為遮擋圖像；輸出所述圖像檢測結果。采用該方法，利用少量的帶有掩模標注的手指遮擋圖像便可穩定地訓練生成模型來生成遮擋圖像特征，從而能夠有效地解決手指遮擋檢測模型訓練中的正樣本不足問題，節省大量的正樣本采集成本。

技術領域

本公開涉及相機控制領域，尤其涉及一種遮擋圖像檢測方法、裝置及介質。

背景技術

數據增強是利用有限數據產生更多等價數據的技術，是提高深度網絡模型準確率和泛化能力的重要技術，在圖像分類、目標識別和語義分割等計算機視覺任務中發揮著巨大的作用。現有數據增強技術大多采用圖像變換方法，例如旋轉、裁剪、仿射變換和顏色抖動等。

在用戶手持手機橫向拍照時，由于拍攝習慣等原因，鏡頭邊緣容易被手指遮擋，使得照片邊緣有較小的遮擋區域。由于該類遮擋不易被即時察覺，用戶通常不會重新拍攝，從而無法獲得完美照片而留有遺憾。遮擋檢測的任務是在拍照后即時判斷該圖像是否有被遮擋，并在檢測到被遮擋圖像后實時提示用戶重新拍攝。

在遮擋檢測中，被遮擋圖像需要人工模擬真實場景進行采集。由于真實場景下被遮擋區域所占照片面積較小且位置偏僻，因此采集需要耗費大量人力。同時，現有數據增強方法會造成被遮擋區域失真從而無法產生有效的訓練數據，因此這些方法不適用于遮擋檢測任務。

發明內容

為克服相關技術中存在的問題，本公開提供一種遮擋圖像檢測方法、裝置及介質。

根據本公開實施例的第一方面，提供一種遮擋圖像檢測方法，所述方法包括；

通過攝像頭捕捉到圖像后，獲取所述圖像并作為待檢測圖像；

將待檢測圖像輸入訓練后的遮擋圖像檢測模型；其中，所述遮擋圖像檢測模型是采用原始遮擋圖像、無遮擋圖像并利用訓練后的數據特征增強網絡進行訓練的；

基于所述遮擋圖像檢測模型中關于圖像的遮擋特性，判斷所述待檢測圖像是否為遮擋圖像；

輸出所述圖像檢測結果。

其中，所述方法還包括：

獲取所述原始遮擋圖像和所述無遮擋圖像；

基于所述原始遮擋圖像訓練所述數據特征增強網絡；

基于所述原始遮擋圖像和所述無遮擋圖像并利用訓練后的數據特征增強網絡，訓練所述遮擋圖像檢測模型。

其中，所述基于所述原始遮擋圖像訓練所述數據特征增強網絡，包括：

基于所述原始遮擋圖像，生成手指模板圖像和非手指圖像，所述手指模板圖像為所述原始遮擋圖像中去除未被手指遮擋區域后的圖像，所述非手指圖像為所述原始遮擋圖像中去除手指遮擋區域后的圖像；

生成訓練數據組，每組訓練數據包括一幅手指模板圖像、一幅非手指圖像和一幅原始遮擋圖像，在每輪訓練中采用多組訓練數據對所述數據特征增強網絡進行訓練。

其中，所述基于所述原始遮擋圖像，生成手指模板圖像和非手指圖像包括：

基于所述原始遮擋圖像，獲取掩膜數據，所述掩膜數據指示所述原始遮擋圖像中被遮擋的位置；

基于所述原始遮擋圖像和所述掩膜數據，生成手指模板圖像和非手指圖像。

其中，所述基于所述原始遮擋圖像訓練所述數據特征增強網絡，還包括：