[發(fā)明專利]用于飲料柜圖像識別的方法及裝置、設備

在審

• 申請?zhí)枺?/td>: 202010111183.X
• 申請日: 2020-02-24
• 公開（公告）號: CN113379669A
• 公開（公告）日: 2021-09-10
• 發(fā)明（設計）人: 劉彥甲
• 申請（專利權）人: 青島海爾智能技術研發(fā)有限公司;海爾智家股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/70;G06T3/40;G06N3/08;G06N3/04;G06K9/00
• 代理公司: 北京康盛知識產權代理有限公司 11331
• 代理人: 李曉芳

1.一種用于飲料柜圖像識別的方法，其特征在于，包括：

獲取飲料柜的至少兩張飲料圖像；

對每張所述飲料圖像進行圖像檢測，檢測出每張所述飲料圖像中飲料柜隔層位置信息以及每層飲料的尺寸信息；

根據(jù)所述飲料柜隔層位置信息以及所述每層飲料的尺寸信息，對每張所述飲料圖像進行拼接處理，得到待識別圖形；

基于深度學習算法，識別出所述待識別圖形中的飲料信息。

2.根據(jù)權利要求1所述的方法，其特征在于，所述對每張所述飲料圖像進行圖像檢測包括：

對每張所述飲料圖像進行包括圖像畸變矯正的圖像預處理，得到對應的預處理圖像；

基于深度學習目標檢測算法，對每張所述預處理圖像進行檢測，得到每張所述預處理圖像中飲料柜隔層位置信息以及每層飲料的尺寸信息。

3.根據(jù)權利要求2所述的方法，其特征在于，所述對每張所述飲料圖像進行包括圖像畸變矯正的圖像預處理包括：

確定當前飲料圖像中設定圖像像素的畸變坐標(x″，y″)；

通過公式(1)，確定所述當前飲料圖像中設定圖像像素與所述畸變坐標對應的畸變矯正坐標(x′，y′)；

根據(jù)每個所述畸變矯正坐標(x′，y′)，生成對應的當前預處理圖像；

其中，r²＝x′+y′，為徑向畸變系數(shù)，2p₂x′y′+p₁(r²+2y′²)為切向畸變系數(shù)；

k₁～k₆為徑向畸變參數(shù)，p₁，p₂為切向畸變參數(shù)，s₁，s₂為圖像采集設備的薄棱鏡畸變參數(shù)。

4.根據(jù)權利要求2所述的方法，其特征在于，所述基于目標檢測算法，對每張所述預處理圖像進行檢測包括：

將歸一化處理后的當前預處理圖像，輸入VGG16卷積神經網絡進行處理，得到當前特征圖像；

根據(jù)Faster RCNN算法，得到所述當前特征圖像的檢測框，并根據(jù)所述檢測框，得到所述當前預處理圖像中飲料柜隔層位置信息以及每層飲料的尺寸信息。

5.根據(jù)權利要求1所述的方法，其特征在于，所述對每張所述飲料圖像進行拼接處理包括：

根據(jù)當前飲料圖像中飲料柜隔層位置信息，確定當前最下隔層與所述當前飲料圖像的下邊沿之間的第一高度值HH；

根據(jù)當前飲料圖像中所述每層飲料的尺寸信息，確定最下層飲料的第二高度h；

在所述第一高度值HH小于預設飲料高度H，或所述第二高度h小于所述預設飲料高度H的情況下，將所述當前飲料圖像的下邊沿確定為所述當前最下隔層，并進行裁剪處理。

6.根據(jù)權利要求1或5所述的方法，其特征在于，所述根據(jù)所述飲料柜隔層位置信息以及所述每層飲料的尺寸信息，對每張所述飲料圖像進行拼接處理包括：

根據(jù)所述每層飲料的尺寸信息，確定每張所述飲料圖像中飲料高度小于預設飲料高度H的第一飲料信息；

根據(jù)所述第一飲料信息，將每張所述飲料圖像進行拼接排序。

7.根據(jù)權利要求1-5所述的任一方法，其特征在于，所述基于深度學習算法，識別出所述待識別圖形中的飲料信息之前，還包括：

獲取同一飲料至少兩種尺寸類型的樣本圖片，其中，一種尺寸類型中所述飲料的高度小于預設飲料高度H；

基于ResNet模型，對所述樣本圖片進行訓練，得到ResNet深度學習算法模型。