[發明專利]一種基于前景提取與特征點匹配的藥盒識別系統及其方法

在審

• 申請號: 202010227943.3
• 申請日: 2020-03-27
• 公開（公告）號: CN111462165A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 金鑫;黃橫;肖超恩
• 申請（專利權）人: 韶鼎人工智能科技有限公司
• 主分類號: G06T7/194
• 分類號: G06T7/194;G06K9/62;G06Q30/00;G06Q50/04
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 鄧治平

1.一種基于前景提取與特征點匹配的藥盒識別系統，其特征在于，包括：前景提取模塊、接觸藥盒分割模塊、裁剪保存模塊、特征點提取模塊、特征點比較模塊，其中：

前景提取模塊：用于在系統收到藥單后，開始進行前景提取，將攝像頭傳回圖片壓縮至20萬像素以內，藥盒進入攝像頭視野后，記錄穩定后攝像頭返回圖片及前景提取二值圖；

接觸藥盒分割模塊：用于對前景提取模塊輸出的前景提取二值圖進行輪廓提取，篩除圖片占比低于1/20的輪廓，對剩余輪廓進行直線擬合成閉圖形，認為非凸圖形為復數藥盒，對其進行分割處理；輸出分割處理完成的二值圖；

裁剪保存模塊：用于將處理完成二值圖作為輪廓依據對攝像頭返回圖片進行旋轉裁剪處理，輸出藥盒圖片；

特征點提取比較模塊：用于對裁剪保存模塊輸出的藥盒圖片進行特征點提取，同時根據藥單從數據庫中提取對應藥盒特征點數據，循環比較返回藥盒匹配情況，指出不符合藥單要求藥品。

2.一種基于前景提取與特征點匹配的藥盒識別方法，其特征在于，包括如下步驟：

步驟(1)、對藥盒識別裝置進行設置，包括設置識別裝置的攝像頭與背景的距離，及拍攝方式；

步驟(2)、前景提取藥盒截面，將目標藥盒置于攝像頭視場內，攝像頭獲取藥盒圖像，對圖像縮小至預定尺寸以內后利用前景提取算法獲取前景二值圖，藥盒進入攝像頭視野時，圖像背景模型開始更新，以背景模型開始更新到停止更新作為藥盒進入攝像頭視野過程，背景模型停止更新作為前景提取算法停止的依據，將此時攝像頭返回圖片輸出并將前景提取算法返回二值圖放大回原大小并輸出，算法平均每幀所需時間小于50ms；

步驟(3)凹點切割分離接觸藥盒，對于多個藥盒的情況中部分藥盒有接觸的情況，則先對步驟(2)獲取的前景二值圖進行輪廓提取并去掉圖片占比低于1/20的由光線變化引起的算法誤識前景輪廓，得到多個輪廓，其中存在復數藥盒相互接觸的多藥盒輪廓；利用多邊擬合函數使其邊緣直線化，使用凸包檢測函數計算出輪廓凸包；使用非凹繪圖函數繪制凸多邊形，對多藥盒輪廓使用輪廓繪制函數使原輪廓線加粗進行簡單邊緣區曲線化降低運算復雜度，利用得到的凸多邊形減去加粗過的輪廓得到多個凹區域，再對凹區域求輪廓并用多邊擬合函數求角點減少凹區域輪廓點數量，減少計算量，此時一個凹區域表現為一個多邊形，兩個多邊形間最近的角點的距離為凹區域最短距離，兩個角點即為所求凹點對；循環求得每個凹區域與最近凹區域的凹點對；利用凹點對分割前景二值圖得到互不接觸的藥盒二值圖；

步驟(4)輪廓提取藥盒輪廓，對步驟(3)得到的二值圖進行輪廓提取，利用提取的輪廓對步驟(2)得到的待處理藥盒圖片進行旋轉裁剪得到待測藥盒圖片，使用輪廓檢測函數獲取二值圖輪廓，使用最小外接矩形檢測函數獲取每個輪廓最小外接矩形角度、長寬與中心點信息，將上述信息用于步驟(2)獲取的待處理藥盒圖片，當角度靠近0°時則旋轉到0°，靠近±90°時旋轉到±90°使藥盒所需旋轉幅度低于45°，防止藥盒旋轉后超出原圖片邊界對原圖片進行適當的長寬填充，將步驟(2)獲取的待處理圖片中藥盒裁剪保存；

步驟(5)使用orb特征提取算法提取藥盒特征，默認提取特征數量500；

步驟(6)使用特征點比較函數BFMatcher進行特征點比較，將數據庫取得圖片特征與orb取得的待測藥盒特征利用特征點比較函數BFMatcher進行特征點比較得匹配藥盒，根據藥單所示藥品及數量，返回完全匹配示意或指出錯誤。

3.根據權利要求2所述的一種基于前景提取與特征點匹配的藥盒識別方法，其特征在于：

所述的識別裝置為：攝像頭位于背景板上方，背景板為純黑色，目標藥盒放置在背景板上。

4.根據權利要求2所述的一種基于前景提取與特征點匹配的藥盒識別方法，其特征在于：

所述的識別裝置為：包括操作臺，攝像頭置于操作臺下方，藥品放置在操作臺上方，從下向上拍攝，藥盒被提取的圖像截面向下，根據攝像頭焦距設置臺面距離。