[發(fā)明專利]商品識(shí)別方法及智能貨柜系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010103439.2
• 申請(qǐng)日: 2020-02-20
• 公開（公告）號(hào): CN111339887B
• 公開（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 朱曉雅
• 申請(qǐng)（專利權(quán)）人: 達(dá)闥機(jī)器人股份有限公司
• 主分類號(hào): G06V20/10
• 分類號(hào): G06V20/10;G06V10/75;G06V10/774;G06V10/80;G06V10/10;G06T3/40;G06T5/00
• 代理公司: 深圳市愛迪森知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44341
• 代理人: 何婷;田利瓊

本發(fā)明實(shí)施例涉及目標(biāo)檢測(cè)技術(shù)領(lǐng)域，公開了一種商品識(shí)別方法及智能貨柜系統(tǒng)。其中，所述方法應(yīng)用于智能貨柜，所述智能貨柜包括若干貨架層，每一所述貨架層設(shè)有第一圖像獲取裝置和第二圖像獲取裝置；所述方法包括：通過(guò)所述第一圖像獲取裝置獲取第一圖像，并通過(guò)所述第二圖像獲取裝置獲取第二圖像；對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，以得到拼接圖像；根據(jù)所述拼接圖像，訓(xùn)練原始識(shí)別模型，并將訓(xùn)練后的所述原始識(shí)別模型作為預(yù)設(shè)識(shí)別模型；通過(guò)所述預(yù)設(shè)識(shí)別模型進(jìn)行商品識(shí)別。通過(guò)上述方式，本發(fā)明實(shí)施例能夠降低商品識(shí)別漏檢的概率。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及目標(biāo)檢測(cè)技術(shù)領(lǐng)域，具體涉及一種商品識(shí)別方法及智能貨柜系統(tǒng)。

背景技術(shù)

在目前的智能貨柜中，每一層的頂部只設(shè)置有一個(gè)攝像頭，通過(guò)攝像頭拍攝進(jìn)行商品識(shí)別，當(dāng)貨柜體積增大時(shí)，攝像頭無(wú)法將每層中的商品全部拍攝到，從而容易造成商品識(shí)別的漏檢。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例一個(gè)目的旨在提供一種商品識(shí)別方法及智能貨柜系統(tǒng)，能夠降低商品識(shí)別漏檢的概率。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種商品識(shí)別方法，應(yīng)用于智能貨柜，所述智能貨柜包括若干貨架層，每一所述貨架層設(shè)有第一圖像獲取裝置和第二圖像獲取裝置；

所述方法包括：通過(guò)所述第一圖像獲取裝置獲取第一圖像，并通過(guò)所述第二圖像獲取裝置獲取第二圖像；對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，以得到拼接圖像；根據(jù)所述拼接圖像，訓(xùn)練原始識(shí)別模型，并將訓(xùn)練后的所述原始識(shí)別模型作為預(yù)設(shè)識(shí)別模型；通過(guò)所述預(yù)設(shè)識(shí)別模型進(jìn)行商品識(shí)別。

在一種可選的方式中，所述對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，以得到拼接圖像，具體包括：分別提取所述第一圖像的第一特征點(diǎn)以及所述第二圖像的第二特征點(diǎn)；根據(jù)所述第一特征點(diǎn)和所述第二特征點(diǎn)，獲取匹配特征點(diǎn)集；根據(jù)所述匹配特征點(diǎn)集，將所述第一圖像和所述第二圖像轉(zhuǎn)換到同一坐標(biāo)系下，以得到所述拼接圖像。

在一種可選的方式中，所述對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接，以得到拼接圖像，具體還包括：在所述將所述第一圖像和所述第二圖像轉(zhuǎn)換到同一坐標(biāo)系下之后，對(duì)所述第一圖像和所述第二圖像的重疊區(qū)域進(jìn)行加權(quán)融合處理；將處理后的所述第一圖像和所述第二圖像組成的圖像作為所述拼接圖像。

在一種可選的方式中，在所述對(duì)所述第一圖像和所述第二圖像進(jìn)行拼接之前，所述方法還包括：對(duì)所述第一圖像和/或所述第二圖像進(jìn)行畸變校正處理。

在一種可選的方式中，當(dāng)所述第一圖像和/或所述第二圖像為魚眼圖像時(shí)，所述對(duì)所述第一圖像和/或所述第二圖像進(jìn)行畸變校正處理，具體包括：根據(jù)所述魚眼圖像與目標(biāo)圖像的映射關(guān)系，確定所述魚眼圖像中的每個(gè)像素點(diǎn)在所述目標(biāo)圖像上的坐標(biāo)；根據(jù)確定的坐標(biāo)以及所述魚眼圖像，對(duì)所述目標(biāo)圖像進(jìn)行雙線性插值，得到所述目標(biāo)圖像中的每個(gè)像素點(diǎn)的像素值，以將插值后得到的所述目標(biāo)圖像作為畸變校正處理后的魚眼圖像。

在一種可選的方式中，所述根據(jù)所述拼接圖像，訓(xùn)練原始識(shí)別模型，并將訓(xùn)練后的所述原始識(shí)別模型作為預(yù)設(shè)識(shí)別模型，具體包括：獲取原始訓(xùn)練圖像；對(duì)所述原始訓(xùn)練圖像進(jìn)行所述畸變校正處理，并將畸變校正處理后的所述原始訓(xùn)練圖像記為第一數(shù)據(jù)集；根據(jù)所述原始訓(xùn)練圖像和所述第一數(shù)據(jù)集，訓(xùn)練所述原始識(shí)別模型，將訓(xùn)練后的所述原始識(shí)別模型作為第一中間模型；將所述拼接圖像輸入所述第一中間模型，獲取所述第一中間模型輸出的第二數(shù)據(jù)集；根據(jù)所述原始訓(xùn)練圖像、所述第一數(shù)據(jù)集、所述第二數(shù)據(jù)集，訓(xùn)練所述第一中間模型，將訓(xùn)練后的所述第一中間模型作為第二中間模型；將所述第二數(shù)據(jù)集輸入所述第二中間模型，獲取所述第二中間模型輸出的第三數(shù)據(jù)集；在根據(jù)所述拼接圖像對(duì)所述第三數(shù)據(jù)集進(jìn)行篩選或者人工標(biāo)注后，根據(jù)原始訓(xùn)練圖像、所述第一數(shù)據(jù)集、所述第三數(shù)據(jù)集，訓(xùn)練所述第二中間模型，將訓(xùn)練后的所述第二中間模型作為所述預(yù)設(shè)識(shí)別模型。

在一種可選的方式中，所述第一圖像獲取裝置和/或所述第二圖像獲取裝置為魚眼相機(jī)。