[發(fā)明專利]一種基于深度學(xué)習(xí)的檢測定制物品與訂單匹配的方法

有效

• 申請?zhí)枺?/td>: 202010517670.6
• 申請日: 2020-06-09
• 公開（公告）號: CN111695621B
• 公開（公告）日: 2023-05-05
• 發(fā)明（設(shè)計）人: 鄒國平;彭飛;呂茂鑫
• 申請（專利權(quán)）人: 杭州印鴿科技有限公司
• 主分類號: G06V10/75
• 分類號: G06V10/75;G06V10/44;G06V10/82;G06F16/51;G06F16/583;G06N3/0464;G06N3/08;G06Q30/0601
• 代理公司: 杭州中港知識產(chǎn)權(quán)代理有限公司 33353
• 代理人: 張曉紅

1.一種基于深度學(xué)習(xí)的檢測定制內(nèi)容近平面規(guī)則物品與訂單匹配方法，其特征在于匹配方法包括圖像庫特征提取及建索引模塊（1）、生產(chǎn)線圖像采集模塊（2）、角點檢測及圖像對齊模塊（3）、圖像特征提取模塊（4）、特征匹配及結(jié)果輸出模塊（5）、訓(xùn)練角點檢測模型（301）、訓(xùn)練圖像匹配模型（401）；

所述的圖像庫特征提取及建索引模塊（1），用于訂單圖像庫特征提取并建立索引；

所述的生產(chǎn)線圖像采集模塊（2），通過硬件協(xié)同作業(yè)完成生產(chǎn)線產(chǎn)品圖像采集的觸發(fā)、拍攝、發(fā)送和匹配結(jié)果獲取；

所述的角點檢測及圖像對齊模塊（3），用于目標(biāo)區(qū)域角點檢測及目標(biāo)區(qū)域圖像對齊，在本步驟之前包含一次訓(xùn)練角點檢測模型（301）的角點檢測模型訓(xùn)練步驟；

所述的圖像特征提取模塊（4），用于目標(biāo)區(qū)域圖像特征提取，在本步驟之前包含一次訓(xùn)練圖像匹配模型（401）的圖像匹配模型訓(xùn)練步驟；

所述的特征匹配及結(jié)果輸出模塊（5），用于特征匹配及結(jié)果輸出；

該方法包括以下步驟：

S101、通過圖像庫特征提取及建索引模塊（1），建立訂單圖像庫特征提取并建立索引；

S102、通過生產(chǎn)線圖像采集模塊（2），對生產(chǎn)線圖像進(jìn)行采集；

S103、通過角點檢測及圖像對齊模塊（3），對目標(biāo)區(qū)域角點進(jìn)行檢測及目標(biāo)區(qū)域圖像對齊；在本步驟之前包含一次訓(xùn)練角點檢測模型（301）的角點檢測模型訓(xùn)練步驟S1030；

S104、通過圖像特征提取模塊（4），對目標(biāo)區(qū)域圖像特征提取，在本步驟之前包含一次訓(xùn)練圖像匹配模型（401）的圖像匹配模型訓(xùn)練步驟S1040；

S105、通過特征匹配及結(jié)果輸出模塊（5），進(jìn)行特征匹配及結(jié)果輸出；

所述步驟S103具體包括：

S1031、對生產(chǎn)線上采集到產(chǎn)品圖片進(jìn)行預(yù)處理，具體來說是對圖片按最長邊縮放到320，并保存橫向和豎向的縮放系數(shù)，然后在短邊方向上填充像素值(128,128,128)至圖像大小為320x320；在該圖像RGB通道上各像素值減128并除128；

S1032、將上述處理后的3通道320x320數(shù)據(jù)輸入到角點檢測網(wǎng)絡(luò)，網(wǎng)絡(luò)輸出4個角點響應(yīng)特征圖和1個背景響應(yīng)特征圖，特征圖大小為40x40；

S1033、對上述4個角點響應(yīng)特征圖進(jìn)行處理，具體來說是對每個角點響應(yīng)特征圖應(yīng)用雙線性插值放大到320x320大小，在每個放大后的特征圖中尋找到一個局部最大響應(yīng)值及坐標(biāo)位置，該坐標(biāo)位置除以S1031中保存的橫向和豎向縮放系數(shù)即為角點坐標(biāo)；

S1034、根據(jù)上述計算所得的4個角點坐標(biāo)進(jìn)行透視變換即得到4個角點所包圍的目標(biāo)區(qū)域的對齊圖像。

2.如權(quán)利要求1所述的一種基于深度學(xué)習(xí)的檢測定制內(nèi)容近平面規(guī)則物品與訂單匹配方法，其特征在于所述的近平面規(guī)則物品為定制內(nèi)容的手機(jī)殼、相框、馬克杯或帆布包。

3.如權(quán)利要求1所述的一種基于深度學(xué)習(xí)的檢測定制內(nèi)容近平面規(guī)則物品與訂單匹配方法，其特征在于步驟S101具體包括：

S1011、對某批次的訂單圖片進(jìn)行預(yù)處理，具體來說是對圖片按最長邊縮放到256，然后將其置于大小為128x256圖像中間，其他位置像素值為(128,128,128)；在該圖像RGB通道上各像素值減128并除128；

S1012、將上述處理后的3通道128x256數(shù)據(jù)輸入到圖像匹配網(wǎng)絡(luò)，網(wǎng)絡(luò)輸出128維的浮點數(shù)據(jù)向量為圖像特征；

S1013、對所提取的該批次所有訂單圖片的特征構(gòu)建KD-Tree結(jié)構(gòu)，并與訂單id形成索引，保存為索引文件；

S1014、將上述所有訂單圖片的特征數(shù)據(jù)，及其構(gòu)建的KD-Tree結(jié)構(gòu)，和訂單圖片對應(yīng)的訂單id，保存為特征和索引的二進(jìn)制數(shù)據(jù)文件。