[發明專利]基于機器學習的交互式圖像分割方法

有效

• 申請號: 202110186749.X
• 申請日: 2021-02-10
• 公開（公告）號: CN112862789B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 韓越興;楊珅;王冰
• 申請（專利權）人: 上海大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06V10/25;G06V10/774;G06V10/764;G06N20/00
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 何文欣

1.一種基于機器學習的交互式圖像分割方法，其特征在于：將軟件界面分割為三個區域，分別是訓練模塊界面(a)、分割模塊界面(b)和圖像顯示區域(c)；

所述訓練模塊界面(a)包括以下內容：讀入圖片(1)，鄰域大小(2)，特征提取(3)，區域個數(4)，區域標注(5)，訓練模型(6)，對比原圖(7)；

所述分割模塊界面(b)包括：讀入單圖(8)，讀入多圖(9)，圖像分割(10)，對比原圖(11)，此外包括按鈕退出軟件(12)；

所述訓練模塊界面，包括以下操作按鈕：

(1)讀入圖片：打開并讀入一張樣本圖片；

(2)鄰域大小：設定像素點的特征范圍；

(3)特征提取：提取圖片中每個像素點的特征并保存；

(4)區域個數：輸入圖片中不同區域或類別的個數；

(5)區域標注：按下此鈕后，在圖片中畫線來標注不同區域，用不同的顏色表示，個數是設置的區域個數；

(6)訓練模型：開始訓練模型；

(7)對比原圖：交替顯示結果圖和原圖；

所述分割模塊界面，包括以下操作按鈕：

(8)讀入單圖：讀入待分割的一張圖片；

(9)讀入多圖：選擇一個文件夾，并讀入文件夾內所有的圖片；

(10)圖像分割：對讀入的圖片進行分割；

(11)對比原圖：交替顯示結果圖和原圖；

另外還包括：

(12)退出軟件：點此按鈕退出界面和所有圖片框；

構建訓練模塊界面(a)的操作步驟如下：

(a-1)讀入一張訓練樣本圖像；

(a-2)提取圖片中每個像素點鄰域內的多種特征f_i，提取的特征組成一個特征向量：

其中，i是像素點的標號，和分別表示提取的第i個像素點的Gabor特征，Hu矩，梯度方向直方圖(HoG)和灰度共生矩陣(GLCM)，F(*)表示將像素的多個特征連接成特征向量，f_i表示連接后的特征向量；

(a-3)根據專家領域知識確定樣本的類別數，確定不同區域個數；

(a-4)用鼠標在圖像中標出不同區域的部分像素，用不同的顏色表示，顏色的個數是設置的區域個數；

(a-5)利用標注的像素特征向量對圖像分割模型進行訓練，分類器設有如下多種選擇中的至少一種：決策樹、隨機森林、K近鄰、樸素貝葉斯、K均值、支持向量機、集成學習算法，采用隨機森林，把標注像素的特征向量放入隨機森林分類器中進行訓練，本方法的Gini系數如公式(2)所示，圖片的類別數為K，其中R_k表示第k個區域提取的每個像素特征向量的集合，公式(3)則計算某像素i的特征向量f_i在所有的特征向量集R上的Gini系數，即屬于各類別的概率：

對于多個分類器的結合策略，使用相對多數投票法，可由公式(4)表示，c為類別標記集合,圖片的類別數為K，則將提取的每個像素特征向量f_i在所有特征向量集R上的輸出表示為K維向量f_i¹(R),f_i²(R),...,f_i^K(R)，H(f_i)表示最終預測為最多票的類別標記為該像素的類別；

(a-6)利用訓練好的分割模型對同一張圖片進行測試，如果部分區域像素被分類錯誤，提取這部分區域像素，重復上述步驟再次訓練，提高模型精度，最終生成圖像分割模型，每n輪訓練時，分類器重點對新加入的特征向量學習，分配大的權重λ，其中λ＞1，這樣保證被分類錯誤的區域能夠修正，達到良好的人機交互；

(a-7)再用其它包含同類物體的圖片重復步驟(a-4)～步驟(a-6)對圖像分割模型進行相同的訓練，從而完成基于機器學習的交互式圖像分割。

2.根據權利要求1所述的基于機器學習的交互式圖像分割方法，其特征在于，構建分割模塊界面(b)的操作步驟如下：

(b-1)選擇讀入單圖，此時只選擇一張想被分割的圖片，打開并讀入一張圖片；選擇讀入多圖時，此時選擇一個包含多張圖片的文件夾，讀入文件夾內所有圖片；

(b-2)提取圖片中每個像素點鄰域內的多種特征f_i，提取的特征組成一個特征向量：

其中，i是像素點的標號，和分別表示提取的第i個像素點的Gabor特征，Hu矩，梯度方向直方圖(HoG)和灰度共生矩陣(GLCM)，F(*)表示將像素的多個特征連接成特征向量，f_i表示連接后的特征向量；

(b-3)用已訓練好的分割模型對每張圖片的所有像素進行分類；

(b-4)查看分類結果；

(b-5)分類如果不正確則利用訓練模塊進行訓練，分類正確則生成最終結果并退出。