[發明專利]一種基于圖像分析的菜品識別分類方法

有效

• 申請號: 202010083962.3
• 申請日: 2020-02-10
• 公開（公告）號: CN111274986B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 紀剛;周粉粉;周萌萌
• 申請（專利權）人: 青島聯合創智科技有限公司
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/26;G06V10/764;G06K9/62
• 代理公司: 青島華慧澤專利代理事務所(普通合伙) 37247
• 代理人: 劉娜

1.一種基于圖像分析的菜品識別分類方法，其特征在于，包括如下步驟：

(1)利用攝像機對盛有不同菜品的餐盤進行圖像拍攝；

(2)對圖像中的不同菜品進行檢測分割，得到不同菜品的分割框；

(3)對菜品的分割框進行邊界定位；

(4)菜品特征識別模型的訓練與推斷，得到菜品特征圖像；

(5)建立菜品特征分類網絡，將菜品特征圖像輸入菜品特征分類網絡進行菜品的分類，并將新菜品添加到數據庫中；

所述步驟(2)具體如下：

設餐盤中的菜品數量為a，對給定的菜品目標o，用φ(υ_o)∈R^2×d×1×1來表示菜品目標特征集合，其中，υ_o表示菜品目標的特征，d代表維度，2代表圖像的背景和前景；

將整幅圖像的像素特征集合表示為ψ(U)∈R^1×d×h×w，其中，U表示像素的特征，d代表維度，h和w代表圖像ψ(U)的高度和寬度；

將圖像中表示前景的像素拉向特征空間中對應表示的某一菜品的類別，實現菜品的分割，相關操作定義如下：

M_o＝softmax(Ψ(U)*φ(υ_o)) (1)

其中，*表示卷積操作，相似映射圖M_o∈R^2×1×h×w，M_o中包含兩個通道概率，分別代表菜品目標o中每個像素的前景概率和背景概率；

所述步驟(3)具體如下：

將檢測到的菜品分割框坐標看作一個離散的隨機變量，菜品邊界位置是邊界所在坐標概率的自變量點集argmax，即：

其中，X是分割框邊界水平坐標的離散隨機變量，M'∈R^h×w代表公式(1)中M_o的前景通道概率，i表示邊界上的點，P(X＝i|M')表示M'的后驗概率；

以左邊界的推導為例；

根據貝葉斯定理，可以得到：

其中，P(X＝i)和P(M'|X＝i)分別代表先驗概率和似然概率；

假設某一菜品的分割框僅與M'中每一行的最大值有關，僅影響它的鄰域像素，似然概率定義為：

其中，s是超參數，描述菜品邊界對其相鄰像素的影響范圍，理想情況下，邊界上的像素只影響其最近的兩個像素，邊界框外的像素概率為0，邊界內的像素概率為1；

對P(X＝i)采用離散高斯分布：

其中，α代表歸一化系數，μ表示高斯分布的均值，σ_x表示分布的方差，邊界位置的分布與對象分割實例尺寸有關，設置為：

μ＝x_r，σ_x＝γ·w_b，其中，w_b表示邊界框的寬度，x_r表示左邊界的橫坐標，γ表示回歸邊界的權重；

將公式(4)和公式(5)代入公式(3)中，得到P(X＝i|M')，再將其代入公式(2)得到菜品的左邊界，然后用同樣的方法得到菜品的其它邊界。