[發明專利]庫存盤點方法及裝置

在審

• 申請號: 201910933259.4
• 申請日: 2019-09-29
• 公開（公告）號: CN110930087A
• 公開（公告）日: 2020-03-27
• 發明（設計）人: 汪振杰;仝西魯
• 申請（專利權）人: 杭州惠合信息科技有限公司
• 主分類號: G06Q10/08
• 分類號: G06Q10/08;G06K9/32;G06K9/62;G06N3/04
• 代理公司: 上海精晟知識產權代理有限公司 31253
• 代理人: 吳金姿

1.一種庫存盤點方法，其特征在于，包括：

獲取待檢測的貨架圖像；

對獲取的待檢測的貨架圖像進行特征提取，得到具有多個尺度的多層特征圖；

融合獲得的多層特征圖，得到多尺度融合的特征圖；

利用區域提名網絡對多尺度融合的特征圖進行區域提名，以獲得滿足設定要求的多個候選框；

修正獲得的多個候選框以形成修正后的特征圖；

對修正后的特征圖進行特征向量提取；

根據獲得的特征向量檢測每個候選框所包含的商品種類以及對應的坐標位置；

統計待檢測的貨架圖像中各種商品的總數。

2.根據權利要求1所述的庫存盤點方法，其特征在于，對獲取的待檢測的貨架圖像進行特征提取時，將待檢測的貨架圖像輸入包含多個卷積單元的特征提取網絡內，每個卷積單元輸出一層特征圖。

3.根據權利要求1或2所述的庫存盤點方法，其特征在于，當獲得多層特征圖后，融合獲得的多層特征圖，其具體的步驟為：

對上一層融合后的特征圖b_n-1做上采樣操作；

通過1*1卷積使當前層特征圖a_n的特征圖通道數減半；

將卷積后的當前層特征圖a_n與上采樣后的上一層融合后的特征圖b_n-1相加，獲得當前層融合后的特征圖b_n；

其中：b₁＝a₁；

b_n＝1*1卷積(a_n)+上采樣(b_n-1)。

4.根據權利要求1所述的庫存盤點方法，其特征在于，利用區域提名網絡對多尺度融合的特征圖進行區域提名，以獲得滿足設定要求的多個候選框的步驟包括：

將多尺度融合后的特征圖上的每一點根據候選框的長寬比和尺度放大倍數生成多個具有不同規格大小的候選框；

用于分類的全連接層推測出每個候選框包含商品的概率值；

獲取概率值大于設定值的候選框；

使用非極大值抑制算法處理概率值大于設定值的候選框，選取概率值最高的多個候選框作為區域提名網絡的輸出。

5.根據權利要求4所述的庫存盤點方法，其特征在于，在生成多個具有不同規格大小的候選框前將獲得的多尺度融合的特征圖輸入卷積層內以提高多尺度融合的特征圖的層特征。

6.根據權利要求1所述的庫存盤點方法，其特征在于，修正獲得的多個候選框以形成修正后的特征圖包括：

將提取出的多個候選框通過坐標點映射變換映射到對獲取的貨架圖像進行特征提取所獲得的多層特征圖上，得到對應候選框位置的局部特征圖；

通過興趣區域池化操作將不同大小的局部特征圖劃分為固定的K*K個子區域；

在每一個子區域中選取最大值輸出以形成修正后的特征圖。

7.根據權利要求1所述的庫存盤點方法，其特征在于，將修正后的特征圖輸入包含多個神經元的全連接層進行特征向量提取。

8.根據權利要求1所述的庫存盤點方法，其特征在于，根據獲得的特征向量檢測每個候選框所包含的商品種類以及對應的坐標位置包括：

將提取的多個特征向量輸入用于分類的全連接層，輸出表征n個待檢測商品的n維向量，將多維向量中取值最高項的索引值確定為該特征向量所在區域內的商品類別；

將提取的多個特征向量輸入用于回歸預測的全連接層，輸出表征n個待檢測商品坐標的4n維向量；

其中，X_li為第i個待檢測商品左上角的橫坐標；Y_li為第i個待檢測商品左上角的縱坐標；X_ri第i個待檢測商品右下角的橫坐標；Y_ri為第i個待檢測商品右下角的縱坐標。

9.一種庫存盤點裝置，其特征在于，包括：

圖像獲取模塊，獲取待檢測的貨架圖像；

特征提取模塊，對獲取的貨架圖像進行特征提取，得到具有多個尺度的多層特征圖；

融合模塊，融合獲得的多層特征圖，得到多尺度融合的特征圖；

候選框提取模塊，利用區域提名網絡對多尺度融合的特征圖進行區域提名，以獲得滿足設定要求的多個候選框；

修正模塊，修正獲得的多個候選框以形成修正后的特征圖；

特征向量提取模塊，對修正后的特征圖進行特征向量提取；

識別模塊，根據獲得的特征向量檢測每個候選框所包含的商品種類以及對應的坐標位置；

統計模塊，統計待檢測的貨架圖像中各種商品的總數。