[發(fā)明專利]一種基于孿生神經(jīng)網(wǎng)絡(luò)的智能貨物監(jiān)管方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202111389358.4
• 申請(qǐng)日: 2021-11-23
• 公開（公告）號(hào): CN113821674B
• 公開（公告）日: 2022-02-25
• 發(fā)明（設(shè)計(jì)）人: 羅遠(yuǎn)哲;劉瑞景;李玉瓊;王玲潔;呂雪萍;楊京;丁京;李連庚;閆路博
• 申請(qǐng)（專利權(quán)）人: 北京中超偉業(yè)信息安全技術(shù)股份有限公司
• 主分類號(hào): G06F16/583
• 分類號(hào): G06F16/583;G06F16/58;G06V20/20;G06V10/22;G06V10/74;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 杜陽陽

1.一種基于孿生神經(jīng)網(wǎng)絡(luò)的智能貨物監(jiān)管方法，其特征在于，包括：

獲取待檢測(cè)的貨架圖像；所述待檢測(cè)的貨架圖像基于工業(yè)相機(jī)拍攝倉儲(chǔ)內(nèi)每個(gè)貨架的圖像；

在標(biāo)準(zhǔn)貨架圖像庫中進(jìn)行檢索，獲取所述待檢測(cè)的貨架圖像對(duì)應(yīng)的標(biāo)準(zhǔn)貨架圖像；所述標(biāo)準(zhǔn)貨架圖像為貨架處于滿倉狀態(tài)，且貨物陳列符合設(shè)定要求；

根據(jù)所述待檢測(cè)的貨架圖像以及對(duì)應(yīng)的標(biāo)準(zhǔn)貨架圖像，采用訓(xùn)練好的貨物識(shí)別網(wǎng)絡(luò)模型確定待檢測(cè)的貨架圖像的檢測(cè)結(jié)果；所述檢測(cè)結(jié)果包括：各類貨物的庫存量和所在位置、貨架上的空閑倉位數(shù)量以及貨物是否符合倉儲(chǔ)的擺放要求；

根據(jù)所述待檢測(cè)的貨架圖像以及對(duì)應(yīng)的標(biāo)準(zhǔn)貨架圖像，采用訓(xùn)練好的貨物識(shí)別網(wǎng)絡(luò)模型確定待檢測(cè)的貨架圖像的檢測(cè)結(jié)果的過程為：

利用訓(xùn)練好的貨物識(shí)別網(wǎng)絡(luò)模型中的ResNet50網(wǎng)絡(luò)提取所述待檢測(cè)的貨架圖像以及對(duì)應(yīng)的標(biāo)準(zhǔn)貨架圖像的貨物特征；

利用訓(xùn)練好的貨物識(shí)別網(wǎng)絡(luò)模型中的特征金字塔網(wǎng)絡(luò)FPN進(jìn)行貨物特征的特征融合和分層檢測(cè)操作；

依次利用訓(xùn)練好的貨物識(shí)別網(wǎng)絡(luò)模型中的區(qū)域建議網(wǎng)絡(luò)和ROI Pooling層輸出一系列相同尺寸的候選區(qū)域特征圖；

將候選區(qū)域特征圖分別輸入兩層全連接層進(jìn)行特征提取和分類后，再分別輸入回歸支路和分類支路，確定候選區(qū)域特征圖所屬的貨物類別以及在貨架上的位置信息；

根據(jù)候選區(qū)域特征圖以及相應(yīng)的位置信息，采用CNet網(wǎng)絡(luò)，確定待檢測(cè)的貨架圖像中各貨物在貨架上的儲(chǔ)位編碼；所述儲(chǔ)位編碼用于判斷貨物是否符合倉儲(chǔ)的擺放要求；所述CNet網(wǎng)絡(luò)包括：依次連接的兩個(gè)卷積核為1*1的卷積層、一個(gè)全連接層和一個(gè)損失層；

根據(jù)候選區(qū)域特征圖所屬的貨物類別以及在貨架上的位置信息確定各類貨物的庫存量以及貨架上的空閑倉位數(shù)量；

根據(jù)待檢測(cè)的貨架圖像中各貨物在貨架上的儲(chǔ)位編碼判斷貨物是否符合倉儲(chǔ)的擺放要求；

根據(jù)分類損失函數(shù)、回歸損失函數(shù)和聯(lián)合對(duì)比損失函數(shù)確定所述訓(xùn)練好的貨物識(shí)別網(wǎng)絡(luò)模型的損失函數(shù)值；

所述CNet網(wǎng)絡(luò)中的損失層的聯(lián)合對(duì)比損失函數(shù)，具體包括：

；

；

其中，為聯(lián)合對(duì)比損失函數(shù)，d為兩個(gè)分別來自待檢測(cè)的貨架圖像和標(biāo)準(zhǔn)貨架圖像的貨物之間的相似度，d為候選區(qū)域特征圖f_n的歐氏距離與貨物位置中心點(diǎn)坐標(biāo)c_n的歐氏距離之和，x為兩個(gè)分別來自待檢測(cè)的貨架圖像和標(biāo)準(zhǔn)貨架圖像的貨物對(duì)應(yīng)的儲(chǔ)位編碼是否相同的標(biāo)簽，x=1代表來自待檢測(cè)的貨架圖像和標(biāo)準(zhǔn)貨架圖像的貨物對(duì)應(yīng)的儲(chǔ)位編碼相同，x=0則代表待檢測(cè)的貨架圖像和標(biāo)準(zhǔn)貨架圖像中兩個(gè)貨物對(duì)應(yīng)的儲(chǔ)位編碼不相同，m為設(shè)定的閾值，為待檢測(cè)的貨架圖像的候選區(qū)域特征圖，為貨物位置中心點(diǎn)坐標(biāo)，為標(biāo)準(zhǔn)貨架圖像的候選區(qū)域特征圖的坐標(biāo)，n為第n個(gè)候選區(qū)域特征圖，N為候選區(qū)域特征圖的總數(shù)，為標(biāo)準(zhǔn)貨物位置中心點(diǎn)坐標(biāo)。

2.根據(jù)權(quán)利要求1所述的一種基于孿生神經(jīng)網(wǎng)絡(luò)的智能貨物監(jiān)管方法，其特征在于，所述在標(biāo)準(zhǔn)貨架圖像庫中進(jìn)行檢索，獲取所述待檢測(cè)的貨架圖像對(duì)應(yīng)的標(biāo)準(zhǔn)貨架圖像，之前還包括：

構(gòu)建倉儲(chǔ)貨物檢測(cè)數(shù)據(jù)集；所述倉儲(chǔ)貨物檢測(cè)數(shù)據(jù)集包括：標(biāo)準(zhǔn)貨架圖像庫、常規(guī)貨架圖像庫以及各圖像對(duì)應(yīng)的標(biāo)注文件；所述常規(guī)貨架圖像庫為基于工業(yè)相機(jī)拍攝倉儲(chǔ)內(nèi)每個(gè)貨架的圖像；所述標(biāo)注文件為采用Labelme軟件進(jìn)行圖像標(biāo)注，在每張貨架圖像中標(biāo)注出每個(gè)貨物的類別、儲(chǔ)位編碼及位置框；

利用倉儲(chǔ)貨物檢測(cè)數(shù)據(jù)集訓(xùn)練貨物識(shí)別網(wǎng)絡(luò)模型，確定訓(xùn)練好的貨物識(shí)別網(wǎng)絡(luò)模型。

3.根據(jù)權(quán)利要求1所述的一種基于孿生神經(jīng)網(wǎng)絡(luò)的智能貨物監(jiān)管方法，其特征在于，所述ResNet50網(wǎng)絡(luò)包括：五個(gè)依次連接的卷積塊。

4.根據(jù)權(quán)利要求1所述的一種基于孿生神經(jīng)網(wǎng)絡(luò)的智能貨物監(jiān)管方法，其特征在于，所述待檢測(cè)的貨架圖像以及對(duì)應(yīng)的標(biāo)準(zhǔn)貨架圖像的尺寸均為1024×1024。