[發(fā)明專利]一種基于機(jī)器視覺的表計(jì)自動(dòng)建模方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110103572.2
• 申請(qǐng)日: 2021-01-26
• 公開（公告）號(hào): CN112818974A
• 公開（公告）日: 2021-05-18
• 發(fā)明（設(shè)計(jì)）人: 林文益;武詩洋;李修亮;余宗杰;姚謙;蘭駿
• 申請(qǐng)（專利權(quán)）人: 浙江國(guó)自機(jī)器人技術(shù)股份有限公司
• 主分類號(hào): G06K9/20
• 分類號(hào): G06K9/20;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州華鼎知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33217
• 代理人: 項(xiàng)軍

1.一種基于機(jī)器視覺的表計(jì)自動(dòng)建模方法，其特征是，包括以下步驟：

步驟1，建立表計(jì)母模庫，母模庫包括特征表計(jì)圖片，建立使用faster-rcnn的表頭檢測(cè)網(wǎng)絡(luò)并進(jìn)行訓(xùn)練，建立reid分類網(wǎng)絡(luò)并進(jìn)行訓(xùn)練；

步驟2，輸入待建模表計(jì)圖片，根據(jù)表頭檢測(cè)網(wǎng)絡(luò)尋找待建模表計(jì)圖片的表頭圖像，然后通過reid分類網(wǎng)絡(luò)將待建模表計(jì)圖片的表頭圖像和母模庫的特征表計(jì)圖片進(jìn)行匹配；

步驟3，匹配完成后，根據(jù)置信度由高到低將母模庫的特征表計(jì)圖片按順序排列，選擇置信度排名前若干位的母模庫的特征表計(jì)圖片作為候選母模；

步驟4，待建模表計(jì)圖片的表頭圖像與候選母模通過表計(jì)指示關(guān)鍵區(qū)域的模板進(jìn)行匹配，匹配完成后和步驟3中的置信度結(jié)合確定最終置信度，最終置信度最高的候選母模即為待建模表計(jì)圖片匹配的最佳母模；

步驟5，計(jì)算最佳母模和待建模表計(jì)圖片的單應(yīng)矩陣，根據(jù)單應(yīng)矩陣換算待建模表計(jì)圖片的表計(jì)指示關(guān)鍵區(qū)域，完成待建模表計(jì)的建模。

2.根據(jù)權(quán)利要求1所述的一種基于機(jī)器視覺的表計(jì)自動(dòng)建模方法，其特征是，所述的步驟1中，表計(jì)母模庫建立的方法為人工輸入若干個(gè)特征表計(jì)圖片，每個(gè)特征表計(jì)圖片代表一類表計(jì)，表計(jì)母模庫為動(dòng)態(tài)更新的表計(jì)母模庫，對(duì)于一個(gè)新輸入的特征表計(jì)圖片，若此特征表計(jì)圖片與表計(jì)母模庫內(nèi)現(xiàn)有的特征表計(jì)圖片的相似度小于設(shè)定的閾值，則判斷為新類別的特征表計(jì)圖片，表計(jì)母模庫收入此特征表計(jì)圖片代表新一類表計(jì)。

3.根據(jù)權(quán)利要求1所述的一種基于機(jī)器視覺的表計(jì)自動(dòng)建模方法，其特征是，所述的步驟1中，表頭檢測(cè)網(wǎng)絡(luò)訓(xùn)練的具體方法為：標(biāo)注特征表計(jì)圖片中的表頭位置進(jìn)行faster-rcnn模型訓(xùn)練，F(xiàn)aster-rcnn訓(xùn)練將整張圖片輸入cnn網(wǎng)絡(luò)進(jìn)行特征提取，然后使用候選框提取網(wǎng)絡(luò)生成一對(duì)錨框，對(duì)錨框進(jìn)行裁剪后通過softmax判斷錨點(diǎn)屬于前景或后景，即是物體或非物體，同時(shí)另一只分支邊框回歸修正錨框，形成較精確的候選框，然后將建議窗口映射到cnn的最后一層卷積特征圖上，通過ROIpooling層使每個(gè)ROI生成固定尺寸的特征圖片，最后通過softmax Loss和Smooth L1 Loss對(duì)分類概率和邊框回歸進(jìn)行聯(lián)合訓(xùn)練。

4.根據(jù)權(quán)利要求1所述的一種基于機(jī)器視覺的表計(jì)自動(dòng)建模方法，其特征是，所述的步驟1中，reid分類網(wǎng)絡(luò)訓(xùn)練的具體方法為：首先使用一個(gè)殘差網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)來提取目標(biāo)物體特征，然后通過特征之間的距離去衡量特征的相似度，并優(yōu)化這些距離，優(yōu)化方法為使用三元組損失方法，即同時(shí)輸入3張圖片，包含一對(duì)正樣本和一對(duì)負(fù)樣本，不斷拉近正樣本間距離，推遠(yuǎn)負(fù)樣本間距離，提高reid效果。

5.根據(jù)權(quán)利要求1所述的一種基于機(jī)器視覺的表計(jì)自動(dòng)建模方法，其特征是，所述的表計(jì)為指針表，所述的步驟4中，表計(jì)指示關(guān)鍵區(qū)域?yàn)榭潭汝P(guān)鍵區(qū)域，匹配包括以下步驟：

步驟4-1，提取待建模表計(jì)圖片的表頭圖像的梯度幅值；

步驟4-2，保留梯度幅值前30％的像素點(diǎn)計(jì)算梯度方向；

步驟4-3，使用上下左右平移的方法按角度余弦平方值進(jìn)行模板匹配，

步驟4-4，匹配值加步驟3中的置信度即為最終置信度，最終置信度最高的為最佳母模。

6.根據(jù)權(quán)利要求5所述的一種基于機(jī)器視覺的表計(jì)自動(dòng)建模方法，其特征是，所述的步驟5中，根據(jù)單應(yīng)矩陣換算得出指針運(yùn)行橢圓區(qū)域，指針錨點(diǎn)位置，刻度起始點(diǎn)與終點(diǎn)信息，使用錨點(diǎn)與刻度間的連線在一定區(qū)間內(nèi)提取像素梯度方向，并與最佳母模的指針像素梯度方向進(jìn)行匹配，通過遍歷所有指針角度獲取最佳匹配點(diǎn)，最后根據(jù)指針角度與指針表的量程換算出指針讀數(shù)。