[發(fā)明專利]貨物狀態(tài)監(jiān)測(cè)方法、裝置、終端設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111453668.8
• 申請(qǐng)日: 2021-12-01
• 公開（公告）號(hào): CN116228621A
• 公開（公告）日: 2023-06-06
• 發(fā)明（設(shè)計(jì)）人: 連自鋒
• 申請(qǐng)（專利權(quán)）人: 順豐科技有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06Q10/083;G06V10/44
• 代理公司: 深圳紫藤知識(shí)產(chǎn)權(quán)代理有限公司 44570
• 代理人: 陳楚芳

1.一種貨物狀態(tài)監(jiān)測(cè)方法，其特征在于，所述方法包括：

獲取目標(biāo)貨物在運(yùn)輸場(chǎng)景中的場(chǎng)景圖像特征；

獲取所述目標(biāo)貨物在運(yùn)輸場(chǎng)景中的多個(gè)注意力機(jī)制信息；

根據(jù)所述場(chǎng)景圖像特征和所述多個(gè)注意力機(jī)制信息的融合圖像信息，監(jiān)測(cè)所述目標(biāo)貨物的運(yùn)輸狀態(tài)。

2.根據(jù)權(quán)利要求1所述的貨物狀態(tài)監(jiān)測(cè)方法，其特征在于，所述獲取目標(biāo)貨物在運(yùn)輸場(chǎng)景中的場(chǎng)景圖像特征，包括：

獲取所述目標(biāo)貨物的當(dāng)前運(yùn)輸圖像；

獲取所述當(dāng)前運(yùn)輸圖像的光流信息，所述光流信息包括水平通道光流信息和垂直通道光流信息；

將所述當(dāng)前運(yùn)輸圖像、所述水平通道光流信息和所述垂直通道光流信息融合，得到融合圖像；

根據(jù)預(yù)設(shè)的場(chǎng)景特征提取模型，提取所述融合圖像中的場(chǎng)景圖像特征。

3.根據(jù)權(quán)利要求1所述的貨物狀態(tài)監(jiān)測(cè)方法，其特征在于，所述獲取所述目標(biāo)貨物在運(yùn)輸場(chǎng)景中的多個(gè)注意力機(jī)制信息，包括：

獲取所述目標(biāo)貨物的當(dāng)前運(yùn)輸圖像；

分割所述當(dāng)前運(yùn)輸圖像中的各個(gè)物體，得到物體分割圖像；

計(jì)算所述物體分割圖像中各個(gè)位置的注意力掩碼，一個(gè)圖像位置對(duì)應(yīng)一個(gè)注意力掩碼。

4.根據(jù)權(quán)利要求3所述的貨物狀態(tài)監(jiān)測(cè)方法，其特征在于，所述根據(jù)所述場(chǎng)景圖像特征和所述多個(gè)注意力機(jī)制信息的融合圖像信息，監(jiān)測(cè)所述目標(biāo)貨物的運(yùn)輸狀態(tài)，包括：

根據(jù)所述融合圖像信息，獲取有效場(chǎng)景圖像特征；

通過預(yù)設(shè)的貨物監(jiān)測(cè)模型和所述有效場(chǎng)景圖像特征，監(jiān)測(cè)所述目標(biāo)貨物的運(yùn)輸狀態(tài)。

5.根據(jù)權(quán)利要求4所述的貨物狀態(tài)監(jiān)測(cè)方法，其特征在于，所述根據(jù)所述融合圖像信息，獲取有效場(chǎng)景圖像特征，包括：

分別以融合圖像信息中多個(gè)注意力掩碼的一個(gè)注意力掩碼為目標(biāo)注意力掩碼，比較所述目標(biāo)注意力掩碼與預(yù)設(shè)的有效掩碼閾值的大小；

若所述目標(biāo)注意力掩碼大于等于所述有效掩碼閾值，確定所述目標(biāo)注意力掩碼對(duì)應(yīng)的場(chǎng)景圖像特征有效；

若所述目標(biāo)注意力掩碼小于所述有效掩碼閾值，確定所述目標(biāo)注意力掩碼對(duì)應(yīng)的場(chǎng)景圖像特征無(wú)效；

直至比較完成所述多個(gè)注意力掩碼中各個(gè)注意力掩碼與所述有效掩碼閾值的大小，得到各個(gè)有效場(chǎng)景圖像特征。

6.根據(jù)權(quán)利要求4所述的貨物狀態(tài)監(jiān)測(cè)方法，其特征在于，所述通過預(yù)設(shè)的貨物監(jiān)測(cè)模型和所述有效場(chǎng)景圖像特征，監(jiān)測(cè)所述目標(biāo)貨物的運(yùn)輸狀態(tài)，包括：

獲取所述貨物監(jiān)測(cè)模型，根據(jù)所述有效場(chǎng)景圖像特征，監(jiān)測(cè)所述目標(biāo)貨物的運(yùn)輸狀態(tài)的模型監(jiān)測(cè)結(jié)果；

若所述模型監(jiān)測(cè)結(jié)果為第一監(jiān)測(cè)結(jié)果，確定所述目標(biāo)貨物的運(yùn)輸狀態(tài)為無(wú)事件狀態(tài)；

若所述模型監(jiān)測(cè)結(jié)果為第二監(jiān)測(cè)結(jié)果，確定所述目標(biāo)貨物的運(yùn)輸狀態(tài)為裝貨狀態(tài)；

若所述模型監(jiān)測(cè)結(jié)果為第三監(jiān)測(cè)結(jié)果，確定所述目標(biāo)貨物的運(yùn)輸狀態(tài)為卸貨狀態(tài)。

7.根據(jù)權(quán)利要求4所述的貨物狀態(tài)監(jiān)測(cè)方法，其特征在于，所述根據(jù)所述融合圖像信息，獲取有效場(chǎng)景圖像特征，包括：

對(duì)所述場(chǎng)景圖像特征和所述多個(gè)注意力機(jī)制信息進(jìn)行融合，得到四通道融合圖像；

根據(jù)所述四通道融合圖像，獲取有效場(chǎng)景圖像特征。

8.一種貨物狀態(tài)監(jiān)測(cè)裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于獲取目標(biāo)貨物在運(yùn)輸場(chǎng)景中的場(chǎng)景圖像特征；

第二獲取模塊，用于獲取所述目標(biāo)貨物在運(yùn)輸場(chǎng)景中的多個(gè)注意力機(jī)制信息；

監(jiān)測(cè)模塊，用于根據(jù)所述場(chǎng)景圖像特征和所述多個(gè)注意力機(jī)制信息的融合圖像信息，監(jiān)測(cè)所述目標(biāo)貨物的運(yùn)輸狀態(tài)。

9.一種終端設(shè)備，其特征在于，所述終端設(shè)備包括處理器、存儲(chǔ)器以及存儲(chǔ)于所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)權(quán)利要求1至7任一項(xiàng)所述的貨物狀態(tài)監(jiān)測(cè)方法中的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行以實(shí)現(xiàn)權(quán)利要求1至7任一項(xiàng)所述的貨物狀態(tài)監(jiān)測(cè)方法中的步驟。