[發(fā)明專利]具有包裝的果蔬的識(shí)別方法、識(shí)別裝置、電子設(shè)備以及計(jì)算機(jī)可讀介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010838175.5
• 申請(qǐng)日: 2020-08-19
• 公開(kāi)（公告）號(hào): CN112149501A
• 公開(kāi)（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: 孫建成;王勃;王云吉;于忠京;王鑫
• 申請(qǐng)（專利權(quán)）人: 北京豆牛網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京奉思知識(shí)產(chǎn)權(quán)代理有限公司 11464
• 代理人: 鄒軼鮫;石紅艷

1.一種具有包裝的果蔬的識(shí)別方法，包括：

數(shù)據(jù)集生成步驟，采集具有包裝的果蔬的視頻信息，并且對(duì)所采集的所述視頻信息進(jìn)行預(yù)處理，以生成用于訓(xùn)練的數(shù)據(jù)集；

模型訓(xùn)練步驟，構(gòu)建深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型，并基于所述數(shù)據(jù)集對(duì)所述深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；以及

識(shí)別步驟，基于已訓(xùn)練的所述深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型，對(duì)待識(shí)別的具有包裝的果蔬的視頻進(jìn)行檢測(cè)，以識(shí)別所述視頻中的所述具有包裝的果蔬的屬性信息。

2.根據(jù)權(quán)利要求1所述的具有包裝的果蔬的識(shí)別方法，其中，

在所述數(shù)據(jù)集生成步驟中，所述預(yù)處理包括：圖像標(biāo)注處理，在所采集的所述視頻信息中的圖像幀中標(biāo)注所述具有包裝的果蔬的屬性信息。

3.根據(jù)權(quán)利要求2所述的具有包裝的果蔬的識(shí)別方法，其中，

在所述圖像標(biāo)注處理之前，所述預(yù)處理還包括：擴(kuò)充處理，對(duì)所述視頻信息中的圖像幀進(jìn)行增強(qiáng)操作，以擴(kuò)充所述數(shù)據(jù)集的規(guī)模。

4.根據(jù)權(quán)利要求3所述的具有包裝的果蔬的識(shí)別方法，其中，

在所述擴(kuò)充處理之前，所述預(yù)處理還包括：過(guò)濾處理，根據(jù)從所述視頻信息中提取的圖像幀的圖像質(zhì)量，對(duì)圖像幀進(jìn)行過(guò)濾。

5.根據(jù)權(quán)利要求1-4中的任一項(xiàng)所述的具有包裝的果蔬的識(shí)別方法，其中，

在所述數(shù)據(jù)集生成步驟中，采集不同環(huán)境下的具有包裝的果蔬的視頻信息。

6.根據(jù)權(quán)利要求1-4中的任一項(xiàng)所述的具有包裝的果蔬的識(shí)別方法，其中，

在所述模型訓(xùn)練步驟中，通過(guò)由所述構(gòu)建的深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型的卷積層提取所述數(shù)據(jù)集中的圖像的特征信息，并定義基于當(dāng)前場(chǎng)景目標(biāo)的損失函數(shù)，對(duì)所述深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，其中，所述損失函數(shù)包含不同權(quán)重加權(quán)的損失來(lái)源項(xiàng)。

7.根據(jù)權(quán)利要求2-4中的任一項(xiàng)所述的具有包裝的果蔬的識(shí)別方法，其中，

在所述模型訓(xùn)練步驟中，對(duì)所述圖像幀的標(biāo)注的標(biāo)注框進(jìn)行錨框聚類操作，以用于模型訓(xùn)練。

8.根據(jù)權(quán)利要求1-4中的任一項(xiàng)所述的具有包裝的果蔬的識(shí)別方法，其中，

在所述識(shí)別步驟中，還計(jì)算與所述屬性信息對(duì)應(yīng)的置信度得分。

9.根據(jù)權(quán)利要求1或8所述的具有包裝的果蔬的識(shí)別方法，其中，

在所述識(shí)別步驟中，還統(tǒng)計(jì)被識(shí)別出的所述屬性信息的識(shí)別次數(shù)，并且計(jì)算對(duì)應(yīng)的平均置信度得分。

10.根據(jù)權(quán)利要求1-4中的任一項(xiàng)所述的具有包裝的果蔬的識(shí)別方法，其中，

所述屬性信息包括：果蔬的類別信息、包裝的種類信息以及位置信息中的至少一者。

11.一種具有包裝的果蔬的識(shí)別裝置，包括：

數(shù)據(jù)集生成單元，采集具有包裝的果蔬的視頻信息，并且對(duì)所采集的所述視頻信息進(jìn)行預(yù)處理，以生成用于訓(xùn)練的數(shù)據(jù)集；

模型訓(xùn)練單元，構(gòu)建深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型，并基于所述數(shù)據(jù)集對(duì)所述深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；以及

識(shí)別單元，基于已訓(xùn)練的所述深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型，對(duì)待識(shí)別的具有包裝的果蔬的視頻進(jìn)行檢測(cè)，以識(shí)別視頻中的所述具有包裝的果蔬的屬性信息。

12.一種識(shí)別具有包裝的果蔬的電子設(shè)備，包括：

一個(gè)或多個(gè)處理器；

存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或多個(gè)程序，

當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)如權(quán)利要求1-10中任一項(xiàng)所述的具有包裝的果蔬的識(shí)別方法。

13.一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-10中任一項(xiàng)所述的具有包裝的果蔬的識(shí)別方法。